如何修复“DataFrame”对象没有“coalesce”属性？答案

【问题标题】：How to fix 'DataFrame' object has no attribute 'coalesce'?如何修复“DataFrame”对象没有“coalesce”属性？
【发布时间】：2018-03-09 22:07:51
【问题描述】：

在 PySpark 应用程序中，我尝试通过将数据帧转换为 pandas 来转置数据帧，然后我想将结果写入 csv 文件。我就是这样做的：

df = df.toPandas().set_index("s").transpose()
df.coalesce(1).write.option("header", True).option("delimiter", ",").csv('dataframe')

执行此脚本时出现以下错误：

'DataFrame' object has no attribute 'coalesce'

有什么问题？我该如何解决？

【问题讨论】：

【解决方案1】：

问题是您将 spark 数据帧转换为 pandas 数据帧。熊猫数据框没有 coalesce 方法。您可以查看 pandas here 的文档。

当您使用toPandas() 时，数据帧已被收集并在内存中，尝试改用 pandas 数据框方法df.to_csv(path)。

【讨论】：