使用 PySpark 仅保存所需的 CSV 文件答案

【问题标题】：Save only the required CSV file using PySpark使用 PySpark 仅保存所需的 CSV 文件
【发布时间】：2021-06-18 16:30:37
【问题描述】：

我是 PySpark 的新手，我正在尝试使用 Azure Databricks 读取并保存 CSV 文件。

保存文件后，我看到许多其他文件，例如“_Committed”、“_Started”、“_Success”，最后是名称完全不同的 CSV 文件。

我已经使用 DataFrame repartition(1) 和 coalesce(1) 进行了检查，但这仅适用于 CSV 文件本身被 Spark 分区的情况。有什么可以使用 PySpark 完成的吗？

【问题讨论】：

【解决方案1】：

您可以执行以下操作：

df.toPandas().to_csv(path/to/file.csv)

它将按照您的预期创建单个文件 csv。

【讨论】：

【解决方案2】：

这些是从 PySpark 保存时创建的默认日志文件。我们无法消除这一点。使用 coalesce(1) 可以将文件保存在没有分区的单个文件中。

【讨论】：