DSE4.5 中的 Spark 与 EC2MultiRegionSnitch答案

【问题标题】：Spark in DSE4.5 with EC2MultiRegionSnitchDSE4.5 中的 Spark 与 EC2MultiRegionSnitch
【发布时间】：2014-10-19 16:44:27
【问题描述】：

我在 EC2 上有带有多区域数据中心的 DSE 4.5 cassandra 集群。所以我使用的是返回公共 IP 的 EC2MultiRegionSnitch。我正在尝试创建 Spark 节点，但日志显示“无法绑定 PUBLIC IP:7077。我确定这是由于 EC2MultiRegionSnitch 属性造成的。我与亚马逊人员交谈过，因为他们无法帮助我与公共端口绑定ip。

现在，我不确定我可以将哪个告密者用于 EC2 多区域数据中心集群。（除了 EC2MultiRegionSnitch）。这样我就可以在多区域数据中心绑定集群并运行 Spark。

你能建议吗？

【问题讨论】：

标签： amazon-ec2 apache-spark datastax-enterprise

【解决方案1】：

EC2MultiRegionSnitch 应该适合您的设置。我怀疑问题是在每个数据中心的安全组中没有打开端口 7077。

【讨论】：

端口为 7077 在安全组中打开。问题是 spark 试图将 7077 与公共 ip（由 EC2MultiRegionSnitch 返回）绑定。如果我在单个数据区域中设置我的集群，则 EC2MultiRegionSnitch 不会出现在图片中，然后 spark 使用私有 ip 来绑定 7077 端口，然后 spark 工作正常。我认为 Spark 应该使用私有 ip 来绑定端口而不是公共 ip。我该如何解决这个问题。
是的，你是对的。 Spark 需要绑定到 7077 上的私有 IP，然后安全组中开放的 7077 端口将处理集群中节点的 nat 转换。您在位于 /etc/dse/spark/spark-env.sh 的 spark-env.sh 中使用 SPARK_MASTER_IP 设置 IP，用于打包安装，而 install_location/resources/spark/conf/spark-env.sh 用于 tarball 安装。跨度>
是的，我在 spark-env.sh 中使用 SPARK_MASTER_IP 设置了私有 IP。但它仍然从 EC2MultiRegionSnitch 中选择公共 IP。我想我应该用 datastax 记录这个问题，但我不知道如何记录。
如果您是 Datastax 的客户，您可以通过支持票记录它。如果你不是，那么我会代表你记录它。
我不是 datastax 客户。请代表我记录此问题。感谢您的帮助。