在 HDInsight 火花群集上提交火花作业时连接被拒绝错误答案

【问题标题】：Connection refused error while submitting spark job on HDInsight spark cluster在 HDInsight 火花群集上提交火花作业时连接被拒绝错误
【发布时间】：2018-05-18 20:29:58
【问题描述】：

我正在 HDInsight spark 集群上提交一个 spark 作业。在提交作业时，它会引发以下错误：

17/05/01 13:55:14 警告客户端：无法连接到服务器： hn0-testsp.a0yxittmcfkubfqkfg1ld1vobc.bx.internal.cloudapp.net/172.18.0.28:8050：由于超出最大允许重试次数，重试失败：0 java.net.ConnectException：连接被拒绝

这里的 172.18.0.28 是 spark 头节点的 IP 地址。

以下是带有输入参数的命令：

spark-submit --class com.org.stream.spark.CustomKafkaStreamWriter \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    target/sampleproject-SNAPSHOT.jar \
    172.18.0.39:2181 172.18.0.35:9092

谁能帮忙解决问题？

【问题讨论】：

您是否在头节点上提交此作业？

标签： apache-spark azure-hdinsight

【解决方案1】：

据我所知，您无法直接从外部访问 Spark。

请登录 ssh 节点，或者，这可能是更好的解决方案，因为您可以独立于集群提交作业，通过 livy 提交作业

【讨论】：