将 DStream 保存在 HDFS 自定义位置答案

【问题标题】：Saving DStream on HDFS custom location将 DStream 保存在 HDFS 自定义位置
【发布时间】：2016-07-17 01:18:56
【问题描述】：

Spark DStream 有方法 saveAsTextFiles(prefix, [suffix]) 可用于在 HDFS 上保存数据，但此函数不接受任何路径参数。

myDStream.saveAsTextFiles("prefix_","_suffix")

默认情况下，它会将数据保存到 HDFS 上当前登录的用户目录中，即如果您使用 root 用户运行应用程序，则数据存储在

/user/root/prefix_TIMESTAMP_suffx

如何更改输出目录？

谢谢

【问题讨论】：

【解决方案1】：

给它一个所需 HDFS 目录的路径作为前缀参数：

myDStream.saveAsTextFiles("hdfs://my/custom/path/prefix_","_suffix")

【讨论】：