Datastax Spark 工作人员总是在 127.0.0.1 寻找主人答案

【问题标题】：Datastax Spark worker is always looking for master at 127.0.0.1Datastax Spark 工作人员总是在 127.0.0.1 寻找主人
【发布时间】：2017-02-12 14:32:30
【问题描述】：

我正在尝试使用“dse cassandra -k -s”在分析模式下启动 datastax cassandra。我在单节点设置上使用 DSE 5.0 沙箱。

我已经使用 SPARK_MASTER_IP 和 SPARK_LOCAL_IP 配置了 spark-env.sh 以指向我的 LAN IP。

export SPARK_LOCAL_IP="172.40.9.79"
export SPARK_MASTER_HOST="172.40.9.79"
export SPARK_WORKER_HOST="172.40.9.79"
export SPARK_MASTER_IP="172.40.9.79"

以上所有变量均在 spark-env.sh 中设置。

尽管如此，工人不会上来。它总是在 127.0.0.1 寻找主人。这是我在 /var/log/cassandra/system.log 中看到的错误

WARN  [worker-register-master-threadpool-8] 2016-10-04 08:02:45,832 SPARK-WORKER Logging.scala:91 - Failed to connect to master 127.0.0.1:7077
java.io.IOException: Failed to connect to /127.0.0.1:7077

dse 客户端工具的结果显示 127.0.0.1

$ dse client-tool -u cassandra -p cassandra spark master-address
spark://127.0.0.1:7077

但是我可以从 LAN IP 172.40.9.79 访问 spark Web UI

Spark Web UI screenshot

非常感谢任何帮助

【问题讨论】：

我将 cassandra.yaml 中的 listen_address 保留为 localhost。指向 172.40.9.79 解决了问题

标签： apache-spark cassandra datastax spark-cassandra-connector

【解决方案1】：

尝试在文件 spark-defaults.conf 中添加此参数：spark.master local[*] 或 spark.master 172.40.9.79。也许这可以解决您的问题

【讨论】：

这没有帮助，感谢您的建议。我通过在 cassandra.yaml 文件中将 listen_address 指向 172.40.9.79 来修复它