用于多节点 Hadoop 集群的 Windows 7 和 vmware ubuntu 映像 - IP 地址的配置答案

【问题标题】：Windows 7 and vmware ubuntu images for multi-node Hadoop cluster - Configuration of IP addresses用于多节点 Hadoop 集群的 Windows 7 和 vmware ubuntu 映像 - IP 地址的配置
【发布时间】：2012-09-07 09:42:56
【问题描述】：

我是 ubuntu 和 Hadoop 的新手...

我的笔记本电脑装有 Windows 7，它还有一个 Ubuntu VMWare 映像（我使用 VMWare 播放器打开）。我的想法是在同一台笔记本电脑上配置多节点hadoop集群。

是否可以有两个 ubuntu 镜像，每个镜像都充当虚拟机，以便可以模拟集群配置（尽管它不是理想的集群）？如果是这样，这两个虚拟机是否能够通信？我是否必须更改 IP 配置等才能完成这项工作？

VM 1 (ubuntu) - Hadoop master
VM 2 (ubuntu) - Hadoop slave

作为扩展，windows 7是否也可以加入集群？

Windows 7 - Hadoop master
VM 1 (ubuntu) - Hadoop slave 1
VM 2 (ubuntu) - Hadoop slave 2

【问题讨论】：

哇。这听起来很有趣。我认为埃里克是对的。请发布更新..我很想知道它是怎么回事:)

标签： ubuntu hadoop cluster-computing

【解决方案1】：

是的，他们都应该能够相互交流。虚拟机到虚拟机和虚拟机到主机。

据我所知，虚拟机通过 VMware 播放器创建的虚拟网络适配器连接到网络。这允许他们像连接到本地网络的任何其他机器一样发送和接收流量。所以你不应该在它们之间连接任何问题。

因此 Hadoop IP 配置将是相同的，只需将它们视为本地网络上的机器即可。

【讨论】：

谢谢@EricAlberson 作为这个问题的扩展，我在 ubuntu 映像中遇到了麻烦。一段时间后就不稳定了。我注意到这种模式，当 Firefox 和终端打开时，VM 会挂起。我已为该 VM 分配了 512 MB 的 RAM。我需要做任何其他事情来使其稳定吗？我的笔记本电脑有 4 GB。只是想知道是否可以再配置一个虚拟机。我实际上打算将 VMWare Hadoop 映像配置为 VM2，这样我就不需要再次进行设置了。唯一的问题是它带有不同风格的 Linux。
@ManikandanKannan 512MB 用起来并不多。我会先尝试给它们每个 1GB（如果你只使用 2 个）。我的笔记本电脑有 4GB 的 RAM，当我像你所描述的那样与本地集群搞乱时，我使用 2 个 VM，每个运行 1GB。试一试，应该会有帮助。在这种情况下，您应该只在您的主机上运行 Firefox 之类的程序。不要在不需要的虚拟机上运行任何东西。当我开始使用虚拟机时，我使用了没有安装桌面的 Hadoop，所以它只是命令行，以节省资源。
谢谢。每个 1 GB 都可以正常工作。让我再观察一段时间。在最初的问题上，我能够从 VM1（ubuntu vmimage）ssh 到 VM2（hadoop vmimage）。但是，当我阅读本教程link 时，我发现需要将主服务器上生成的公钥复制到从服务器。这是 hadoop 工作甚至 SSH 工作所必需的（即使没有这个副本，我也已经有 SSH 工作）？
是的，它是必需的。要运行 Hadoop，节点显然必须相互通信。如果您每次都必须输入密码，那将会非常缓慢。您需要从一个虚拟机到另一个虚拟机的“无密码”访问。您可能已经可以很好地进行 SSH，但它可能需要密码。像教程解释的那样复制公钥以获得无密码访问。
当我尝试将数据从本地复制到 dfs 时，我遇到了这个问题。我尝试重新格式化节点，但它仍然无法工作 hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block。在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3002) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2255) 在 org.apache.hadoop。 hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2446)