【问题标题】:Writing pyspark Rdd into csv file将 pyspark Rdd 写入 csv 文件
【发布时间】:2016-08-11 06:49:25
【问题描述】:

如何将我的 pyspark RDD 的内容写入 csv 文件。我正在使用下面的代码,但它不起作用:

df.saveAsTextFile(r'D:\asdf.csv')

【问题讨论】:

标签: pyspark


【解决方案1】:

使用来自 Databricks 的 spark-csv 包:https://github.com/databricks/spark-csv

df.save('df.csv', 'com.databricks.spark.csv')

【讨论】:

    猜你喜欢
    • 2018-06-14
    • 2017-04-29
    • 2021-09-12
    • 2016-08-03
    • 1970-01-01
    • 1970-01-01
    • 2015-11-01
    • 1970-01-01
    • 2017-12-03
    相关资源
    最近更新 更多