【发布时间】：2016-03-24 00:03:49
【问题描述】：
我创建了 Spark 流应用程序，当部署模式为客户端时，它运行良好。
在我的虚拟机上，我只有一个 master 和一个 worker。
当我尝试将模式更改为“集群”时，它失败了。在 Web UI 中，我看到驱动程序正在运行，但应用程序失败。
已编辑
在日志中，我看到以下内容：
16/03/23 09:06:25 INFO Master：驱动程序提交 org.apache.spark.deploy.worker.DriverWrapper
16/03/23 09:06:25 INFO Master：在工作人员 worker-20160323085541-10.0.2.15-36648 上启动驱动程序 driver-20160323090625-0001
16/03/23 09:06:32 INFO Master：metering.dev.enerbyte.com:37168 已解除关联，将其删除。
16/03/23 09:06:32 INFO Master: 10.0.2.15:59942 已解除关联，将其删除。
16/03/23 09:06:32 INFO Master：metering.dev.enerbyte.com:37166 已解除关联，将其删除。
16/03/23 09:06:46 INFO Master：注册应用程序 wibeee-pipeline
16/03/23 09:06:46 INFO Master：注册应用程序 wibeee-pipeline，ID 为 app-20160323090646-0007
16/03/23 09:06:46 INFO Master：在 worker worker-20160323085541-10.0.2.15-36648 上启动执行程序 app-20160323090646-0007/0
16/03/23 09:06:50 INFO Master：收到来自应用程序 app-20160323090646-0007 的注销请求
16/03/23 09:06:50 INFO Master：删除应用 app-20160323090646-0007
16/03/23 09:06:50 WARN Master：得到未知执行者 app-20160323090646-0007/0 的状态更新
16/03/23 09:06:50 INFO Master：metering.dev.enerbyte.com:37172 已解除关联，将其删除。
16/03/23 09:06:50 INFO Master: 10.0.2.15:45079 已解除关联，将其删除。
16/03/23 09:06:51 INFO Master：删除驱动程序：driver-20160323090625-0001
所以发生的情况是master在worker上启动驱动程序，应用程序被注册，然后尝试在同一个worker上启动executir，但失败了（尽管我只有一个worker！）
编辑 这个问题是否与我使用检查点的事实有关，因为我的代码中有“updateStateByKey”转换。设置为“/tmp”，但总是提示“在集群模式下运行时，“/tmp”需要更改。我应该如何设置？
这可能是我的问题的原因吗？
谢谢
【问题讨论】：
-
你能提供更多细节吗？错误信息是什么？它可以是任何事情，从网络访问问题到您使用的集群参考中的问题。
-
你在使用属性文件吗？
-
@Akira 我已经编辑了放置 spark/log 目录中内容的问题。
-
@anupsth 是的，我使用属性文件
标签： apache-spark spark-streaming