Spark 独立集群答案

【问题标题】：Spark standalone clusterSpark 独立集群
【发布时间】：2017-05-16 10:56:12
【问题描述】：

我有一个 spark-standalone 集群。集群由 2 个工作节点和 1 个主节点组成。当我在主节点上运行程序时，作业只分配给一个工作人员。另一个工人不能做某事。

工人出现在图片上。为了运行我的代码，我使用了以下命令：

spark-submit --class Main.Main --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt

【问题讨论】：

请提供您正在使用的代码 sn-p/app 逻辑

标签： scala apache-spark apache-spark-standalone

【解决方案1】：

从上图中我们注意到您的工作节点中有 1 个核心系统

你可以使用下面的命令

spark-submit --class Main.Main --total-executor-cores 2 --executor-cores 1 --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt

希望对您有所帮助！！！...

【讨论】：

实际上，当我运行 spark-shell 命令时，作业会分配给工作人员。但是，当我运行一个 jar 文件时，问题就出现了
你能分享一下只显示一个在 Spark UI 上运行的执行器和你正在使用的代码的屏幕截图吗？
我重新启动机器。现在一切正常

【解决方案2】：

您能否使用部署模式客户端尝试一次，或者忽略该参数，因为如果您的部署模式是集群，那么这里会发生什么，您的一个工作人员运行驱动程序任务，另一个工作人员将运行 rdd 任务，这样就可以了为什么你的一个工作人员只执行任务，而当你运行你的 shell 时，它默认使用客户端模式并使用两个工作人员来运行任务。只需在命令下方尝试一次即可部署应用程序，您能否也分享一下您的应用程序的代码 sn-p。

spark-submit --class Main.Main --master spark://172.19.0.2:7077  Main.jar ReadText.txt

【讨论】：