Spark 集群：无 HDFS 的独立模式

Question

我们有一个独立的 Spark 集群。对于集群，如果 RDD 内存存储不足，它会将数据溢出到磁盘。没有 HDFS 的情况下，数据究竟会溢出到哪里？每个从节点的本地磁盘？

谢谢！

Answer 1

据我所知，所有数据都会溢出到spark.local.dir 定义的本地目录，与 HDFS 访问无关。