试图让 Datastax Spark Master 监听公共 IP答案

【问题标题】：Trying to get Datastax Spark Master to listen on public IP试图让 Datastax Spark Master 监听公共 IP
【发布时间】：2015-03-03 22:17:30
【问题描述】：

我想通过我的 Java 客户端和在不同主机上运行的 Spark Master 提交 Spark 作业。我尝试将 spark-env.sh 中的 SPARK_MASTER_IP 和 SPARK_LOCAL_IP 设置为公共 IP，但 sparkMaster 始终绑定到 127.0.0.1。如何将 Spark Master 绑定到我的公共 IP？

2015 年 14 月 1 日更新：
你可以查看我的 spark-env.sh 文件in pastebin

ifconfig（在 spark master 上）输出：

ens32: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
    inet 10.76.28.117  netmask 255.255.254.0  broadcast 10.76.29.255
    inet6 fe80::250:56ff:fe87:d94  prefixlen 64  scopeid 0x20<link>
    ether 00:50:56:87:0d:94  txqueuelen 1000  (Ethernet)
    RX packets 4392194  bytes 1030005387 (982.2 MiB)
    RX errors 0  dropped 2828  overruns 0  frame 0
    TX packets 556316  bytes 114056485 (108.7 MiB)
    TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
    inet 127.0.0.1  netmask 255.0.0.0
    inet6 ::1  prefixlen 128  scopeid 0x10<host>
    loop  txqueuelen 0  (Local Loopback)
    RX packets 810654  bytes 602987986 (575.0 MiB)
    RX errors 0  dropped 0  overruns 0  frame 0
    TX packets 810654  bytes 602987986 (575.0 MiB)
    TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

【问题讨论】：

您能否在原始问题中提供您的“ifconfig”输出并分享您的 /etc/dse/spark/spark-env.sh 吗？ iirc 除非您指定 IP，否则它应该在所有接口上侦听主设备的默认端口 7080。谢谢
@markc 我用细节更新了问题
好的，谢谢您尝试将其绑定到 10.76.28.117 地址吗？
@markc 您可以在 spark-env 文件中看到我尝试绑定到主机名“dse-all-in-one”。我可能做错了。您建议如何绑定到 10.76.28.117？
所以您使用的是主机名，但这是否解析为机器上的正确 IP？ /etc/hosts 文件的内容是什么？命令“nslookup dse-all-in-one”返回什么？

标签： apache-spark datastax

【解决方案1】：

我将 cassandra.yaml 中的 rpc_address 设置为“0.0.0.0”。将其更改为它工作的节点的真实IP地址后。

【讨论】：