在Glue PySpark作业向S3写入数据时为什么会创建带有 _$folder$ 后缀的文件

【以下的问题经过翻译处理】 Hi，

我写过几个Glue Job，没有遇到这种情况，这是在我写的一个新Job中突然出现的问题。我正在使用以下代码将数据写入S3。S3路径是 "s3://...."。

unionData_df.repartition(1).write.mode("overwrite").parquet(test_path)

在我的测试环境中，当我第一次运行Glue Job时，它创建了一个带有后缀 _$folder$ 的空文件。在生产环境中也是如此。我的其他Job没有这个问题。

为什么会创建这个文件？如何避免它？为什么其他Job没有这个问题，而这个Job却有？我应该检查什么？请注意，我认为文件是在首次创建前缀/文件夹时创建的。一些博文建议将S3路径更改为 s3a，但我不确定这是否正确的解决方法。