Spark 的分布式存储

Question

官方指南说：

如果使用本地文件系统上的路径，该文件也必须是 可以在工作节点上的同一路径访问。要么将文件复制到 所有工作人员或使用网络安装的共享文件系统。

Spark 是否需要某种分布式文件系统来进行随机播放或其他什么？或者我可以只在所有节点上复制输入而不用 NFS、HDFS 等？

Answer 1

Spark 不依赖于分布式文件系统进行随机播放。与传统的 map reduce 不同，Spark 不需要写入 HDFS（或类似）系统，相反，Spark 通过跟踪数据的沿袭并在节点故障时通过重新计算其上的任何数据来使用它来实现弹性节点。