AWS Glue Job 3.0 无法解析CSV文件。

【以下的问题经过翻译处理】 你好，我正在运行一个Glue Job，在 S3 上的一个以分号分隔的 CSV 文件上应用 ETL。然而，当我使用 AWS 的 DynamicFrame 功能读取文件并尝试使用 printSchema 或 toDF 等方法时，出现以下错误：

py4j.protocol.Py4JJavaError: An error occurred while calling o77.schema. : org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 1 times, most recent failure: Lost task 0.0 in stage 1.0 (TID 1) (52bff5da55da executor driver): com.amazonaws.services.glue.util.FatalException: Unable to parse file: s3://my-bucket/my-file.csv

我已经验证了编码是 UTF-8的，所以不应该有问题。当我使用 spark.read.csv 读取 CSV 文件时，它可以正常工作，并且 Crawlers 也可以识别到模式。数据中有一些不应该存在的特殊字符，这是我想要执行的 ETL 的一部分。无论是在本地的 Docker 上运行作业还是在 Glue Studio 上运行作业，使用 AWS Glue 的 from_catalog 或 from_options 函数都不起作用，问题是相同的。我的数据有一个按日期分区的文件夹，所以我更希望避免直接使用 Spark 读取数据，并充分利用 Glue Data Catalog。

提前感谢。