我正在使用 ./bin/spark-submit 运行我的 Spark 作业。它运行良好，但打开 Spark Web UI，我在已完成列表中看不到作业。
./bin/spark-submit --name "myapp" --master local --conf "spark.master=spark://fahad:7077" --class com.apptest.App ~/app-0.0.1-SNAPSHOT.jar
注意：Spark 版本 2.0.1，1 个工作线程正在运行，主 UI 位于 localhost:8080，工作线程和主线程都从 ./sbin/start-*.sh 脚本运行。
【问题讨论】：
标签： java apache-spark
有两种不同的 UI，常规 Spark UI 和 Spark History Server。
在作业完成后显示作业的是历史服务器。
http://spark.apache.org/docs/latest/monitoring.html
他们在文档中解释说您需要通过运行来启动它：
./sbin/start-history-server.sh
默认情况下，这会在 http://server-url:18080 创建一个 Web 界面， 列出不完整和已完成的申请和尝试。
使用文件系统提供程序类时（请参阅 spark.history.provider 下面），必须在 spark.history.fs.logDirectory 配置选项，应该包含 每个代表应用程序事件日志的子目录。
spark 作业本身必须配置为记录事件，并记录 将它们放到同一个共享的、可写的目录中。例如，如果 服务器配置了一个日志目录 hdfs://namenode/shared/spark-logs，然后客户端选项将 是：
spark.eventLog.enabled true spark.eventLog.dir hdfs://namenode/shared/spark-logs
【讨论】：