在 Ubuntu 上模拟 Hadoop 集群答案

【问题标题】：Emulating Hadoop Cluster On Ubuntu在 Ubuntu 上模拟 Hadoop 集群
【发布时间】：2013-09-16 03:18:48
【问题描述】：

这可能是一个愚蠢的问题。我承认我对 hadoop 完全陌生，所以请多多包涵。

但是，

是否可以在单个 ubuntu 安装上模拟 NameNode 和 JobTracker 的主节点以及 DataNode 和 TaskTracker 的多个从节点，而无需拥有多台笔记本电脑/计算机？

我是否可以在单个 ubuntu 安装上模拟多个节点以进行完全分布式的 hadoop 操作？

再次抱歉，如果有逻辑缺陷&|我的问题中的事实不准确。正如我所说，我对 Hadoop 完全陌生。

谢谢...

【问题讨论】：

简短回答 - 是的。如果您的硬件足够强大，您可以使用多个虚拟机。但这绝对不是这个问题的正确位置。
@zero323 为什么说这里不适合问这个问题？
stackoverflow.com/help/on-topic
你为什么认为这个题外话？这个问题是关于“程序员常用的软件工具”的。
@HowardGuo 1. 如果问题说明“我如何在单个 Ubuntu 主机上模拟多台机器”，则不会有任何区别。这个问题已经回答了askubuntu.com/questions/142549/… 2。大多数时候Hadoop开发人员和Hadoop管理员之间存在很大的差异。 3.我在评论中给出了答案，不是吗:)

【解决方案1】：

是的，可以使用虚拟机。

如果您的机器不支持，如果您使用多个虚拟机，可能会导致系统崩溃。

对于 hadoop 集群设置，您可以创建三个虚拟机。因为hadoop默认的最小文件复制值是3。所以文件副本存储在三个不同的虚拟机上。

【讨论】：

感谢您的回答。我正在探索在虚拟机上运行淡化的 ubuntu 内核实例的可能性。我想要的只是能够通过 SSH 连接到那些 ubuntu 内核并能够在这些内核实例上运行守护线程（TaskTraker 和 DataNode）。请纠正我的问题中的任何事实不准确之处。谢谢，阿努普
这个答案涵盖了您的问题，并且您的问题很可能属于服务器故障，因为它更多的是服务器管理问题而不是编程问题（您并不孤单；其中大多数 hadoop-标记的问题属于那里）。