【问题标题】:saving dataframes as texfile without converting to RDD将数据帧保存为 texfile 而不转换为 RDD
【发布时间】:2016-07-28 16:47:34
【问题描述】:

我在spark中有以下数据框。我想将其保存为文本文件而不转换为RDD,因为.rdd操作非常昂贵。请帮助我解决方案

【问题讨论】:

  • 贵是什么意思?
  • 我可以通过使用 Dataframe.rdd 将其转换为 RDD 来保存数据帧,然后将文件另存为文本文件。但我已经阅读过一些使用 rdd 将 Dataframes 转换为 RDD 的内容很昂贵。所以我一直在寻找将数据帧保存为文本文件而不转换为 RDD 的方法。
  • 这并不能回答我的问题,但可以。
  • 感谢您的回答。此链接也没有回答。

标签: scala apache-spark


【解决方案1】:

试试这个

Df.write.format("com.databricks.spark.csv").option("delimiter",<text delimiter>).save(<filePath>)

需要先导入 com.databricks.spark.csv。

【讨论】:

    猜你喜欢
    • 2017-01-25
    • 2019-12-08
    • 1970-01-01
    • 1970-01-01
    • 2020-03-11
    • 1970-01-01
    • 2017-08-24
    • 2017-11-11
    • 1970-01-01
    相关资源
    最近更新 更多