如何在 hadoop 配置中使用亚马逊实例的公共 IP？答案

【问题标题】：How to use amazon instances' public IPs in hadoop configuration?如何在 hadoop 配置中使用亚马逊实例的公共 IP？
【发布时间】：2016-02-10 14:15:54
【问题描述】：

我试图通过使用亚马逊实例的公共 IP 而不是它们的网络内 IP 来配置 Hadoop，因为我的目标是创建一个混合集群，即云 + 本地机器集群。尽管所有 ssh 设置都非常好，但当使用亚马逊公共 IP 时，Hadoop 仍然无法连接（数据节点找不到名称节点）。我在 hbase 的 zookeeper 配置中使用了亚马逊实例的公共 IP，并且它正确连接到它。那么为什么 HBase 可以连接而 Hadoop 不可以呢？

kafka 也有同样的问题。

【问题讨论】：

标签： hadoop ssh amazon-ec2 hbase apache-kafka

【解决方案1】：

删除 .ssh/known_hosts 文件并尝试

【讨论】：

感谢您的回复。我会试试的。
我试过你的方法，但很抱歉，它不起作用。
您的 Zookeeper 是否在本地/其他数据中心的 AWS 上运行？
所有机器都是amazon ec2实例。

【解决方案2】：

我找到了答案。

诀窍是不要在“/etc/hosts”文件中包含任何有关亚马逊 EC2 实例的条目，并且“~/.ssh/config”文件在涉及亚马逊实例时应该只包含以下设置：

Host ec2-x-x-x-x.compute-1.amazonaws.com
    StrictHostKeyChecking no
    IdentityFile /path to private key

这里ec2-x-x-x-x.compute-1.amazonaws.com是亚马逊实例的公网IP。

【讨论】：