我正在设置 10 个节点的 Spark 集群。
spark 在运行 spark 作业时创建 temp files。它是否为master node 或相应的工作节点上的所有工作节点创建临时文件？
该临时目录的路径是什么？我们在哪里设置路径？
其次，如果 temp dir 路径被填满，肯定会在存储更多内容时引发错误。如何在运行 spark 作业本身时删除这些临时文件以避免此错误？将spark.worker.cleanup.enabled 设置为true 可以吗？
【问题讨论】：
标签： apache-spark
spark.local.dir可以使用
用于 Spark 中“临时”空间的目录，包括地图输出文件和存储在磁盘上的 RDD。这应该在系统中一个快速的本地磁盘上。它也可以是不同磁盘上多个目录的逗号分隔列表。注意：在 Spark 1.0 和更高版本中，这将被集群管理器设置的 SPARK_LOCAL_DIRS (Standalone)、MESOS_SANDBOX (Mesos) 或 LOCAL_DIRS (YARN) 环境变量覆盖。
Spark Docs for temp dir clean up configs
spark.worker.cleanup.enabled，默认值为false，启用定期清理工作/应用程序目录。请注意，这只影响独立模式，因为 YARN 的工作方式不同。只清理已停止应用的目录。
spark.worker.cleanup.interval，默认为1800，即30分钟，控制worker清理本地机器上旧应用程序工作目录的时间间隔，以秒为单位。
spark.worker.cleanup.appDataTtl，默认7*24*3600（7天），每个worker上保留应用工作目录的秒数。这是生存时间，应该取决于您拥有的可用磁盘空间量。应用程序日志和 jar 被下载到每个应用程序工作目录。随着时间的推移，工作目录会迅速填满磁盘空间，尤其是在您非常频繁地运行作业的情况下。
【讨论】：