Spark 无法在纱线集群模式下运行

Question

我正在尝试在纱线集群上执行我的代码

我使用的命令是

$SPARK_HOME/bin/spark-submit \
    --class "MyApp" \
    target/scala-2.10/my-application_2.10-1.0.jar \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 6g \
    --executor-memory 7g \
    <outputPath>

但是，我可以看到这个程序只在本地主机上运行。

它能够从 hdfs 读取文件。

我在独立模式下试过了，效果很好。

请指出哪里出了问题。

Answer 1

我正在使用 Hadoop2.4 和 Spark 1.1.0 。我能够让它在集群模式下运行。

为了解决这个问题，我们简单地从所有从节点中删除了所有配置文件。早些时候我们在独立模式下运行，这导致在所有从站上复制配置。完成后，它在集群模式下按预期运行。虽然性能达不到单机模式。

谢谢。