【问题标题】:Difference between Spark dataset writeSpark 数据集写入之间的区别
【发布时间】:2019-01-06 18:42:48
【问题描述】:

我正在使用 Spark-Java

我需要知道以下写入 Hadoop 方法之间是否存在任何差异(性能等):

ds.write().mode(mode).format("orc").save(path);

或者

ds.write().mode(mode).orc(path);

谢谢。

【问题讨论】:

    标签: apache-spark hadoop hdfs


    【解决方案1】:

    没有区别

    orc(path)只是format("orc").save(path)的快捷方式

    同样适用于.json(path)csv(path),默认write(path) 没有Parquet 格式

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-06-15
      • 2018-08-30
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-05-28
      • 2018-06-01
      • 1970-01-01
      相关资源
      最近更新 更多