为什么 Spark History Server 在本地集群模式下不显示已完成的应用程序？

Question

我正在本地集群模式下测试 spark 程序：我已将 spark.home 属性设置为 $SPARK_HOME（指向 spark 安装目录）。我已经启动了 spark.history.fs.logDirectory 指向 file:/tmp/spark-events 的 spark 历史服务器。但是，当我成功执行测试并退出时。历史服务器不显示任何内容，/tmp/spark-events 文件夹为空。如何让 spark 历史服务器识别我在本地集群模式下运行的 spark 程序？

Answer 1

使用spark.eventLog.enabled Spark 属性在您的 Spark 测试中启用收集事件并重新开始。