apache spark saveAsObjectFile 默认写入 hdfs

Question

• 当我在本地（非 hdfs）运行 spark 时，RDD saveAsObjectFile 将文件写入本地文件系统（例如：路径 /data/temp.txt）

• 当我在 YARN 集群上运行 spark 时，RDD saveAsObjectFile 将文件写入 hdfs。 （例如：路径 /data/temp.txt ）

在 YARN 集群上运行 spark 时，有没有办法明确提及本地文件系统而不是 hdfs。

Answer 1

您可以在参数中明确指定“file:///”前缀。

yourRDD. saveAsObjectFile("file:///path/to/local/filesystem")