Spark：本地文件系统作为 Spark 应用程序的默认文件系统答案

【问题标题】：Spark: Local file system as default filesystem for spark applicationSpark：本地文件系统作为 Spark 应用程序的默认文件系统
【发布时间】：2016-02-13 07:25:07
【问题描述】：

我编写了一个 Spark 应用程序，我想在其中将数据帧保存在本地文件系统中。Spark 需要在本地文件系统中写入一个文件。然后我使用 java.io.FileReader 和 FileWriter 读取由 spark 写入的本地文件，进行一些修改，然后在本地文件系统中再次将其写回。所以我需要使用的文件路径是常量。例如： file:////name.txt ，这将用于 dataframa.save 和 java fileReader 和 fileWriter

我是这样使用api的：

dataframe.save(/abc/name.txt)

但 spark 正在将此文件保存到 HDFS 中。我们是否需要设置任何 env 变量才能将 spark 保存文件到本地 fs 中？？

谢谢

【问题讨论】：

标签： apache-spark

【解决方案1】：

试试dataframe.save("file:///<LOCAL_PATH>/name.txt)

【讨论】：

这可能不是一个完整的解决方案。在我的应用程序的其他地方，我正在使用 java FileWriter 来读取文件。那个地方出现异常 java.io.FileNotFoundException: file://name.txt
您在阅读文件吗？或写文件？请明确说明并发布完整代码。
好的。按用例如下： Spark 在本地文件系统中写入文件。然后我使用 java.io.FileReader 和 FileWriter 读取 spark 写入的文件，进行一些修改，然后将其写回本地文件系统。所以我用于文件的名称是不变的。例如： file:////name.txt ，将用于 dataframa.save 和 java fileReader 和 fileWriter。
@Alok 您需要编辑您的问题以澄清。将澄清放在对答案的评论中意味着没有人会看到它。