dse spark-submit：提交作业时未使用核心（运行应用程序“Cores = 0”，3 个工作人员可用，每个工作人员 4 个核心）答案

【问题标题】：dse spark-submit : core not used when submitting a job (Running application "Cores = 0" with 3 workers available with 4 cores each)dse spark-submit：提交作业时未使用核心（运行应用程序“Cores = 0”，3 个工作人员可用，每个工作人员 4 个核心）
【发布时间】：2016-11-09 20:00:16
【问题描述】：

我正在向我的 spark dse 集群发送一个工作，该集群由 3 个工作人员组成，每个工作人员有 4 个核心。

作业已正确发送到我的集群，但核心数仍为零，作业正在等待资源。 3 个工作是空闲的，每个工作有 4 个内核。我不明白他们为什么不参与。

See spark ui screenshot here

作业发送使用：sudo -u cassandra dse spark-submit --master spark://XX.XX.XX.XXX:7077 --executor-cores=4 --total-executor-cores=4 --executor-memory=16g --class com.MyClass /home/spark.jar

并给我以下消息：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

火花日志没有什么特别之处。有什么想法吗？

【问题讨论】：

标签： apache-spark

【解决方案1】：

您使用--executor-memory=16g 发送作业，但每个工人只有8g。

尝试使用--executor-memory=8g 运行它，应该没问题

【讨论】：