Hadoop 集群设置（完全分布式模式）

Question

我正在多节点集群上设置hadoop，我有几个问题：

1. NameNode 和 ResourceManager 在同一台机器上可以吗？

2. 哪个是主系统的最佳角色，NameNode、ResourceManager 还是DataNode/NodeManager？

3. 我有一台主机和三台从机。 master 机器上的 slaves 文件有以下条目：

   master
   slave1
   slave2
   slave3
   

我是否必须在所有从属机器中放置相同的从属文件？还是应该把第一行（master）去掉，然后放到slave机器上？

最好的问候。

Answer 1

1. 是的，至少在小型集群中，这两个应该在主节点中运行。
2. 检查答案1。主节点也可以有例如SecondaryNamenode和JobHistoryServer
3. 不，从属文件仅在主节点上。如果从属文件中有主节点，则意味着主节点也充当数据节点。尤其是在小型集群中，这完全没问题。 slaves 文件基本上告诉了数据节点进程在哪些节点上启动。

Slave 节点应该只运行 DataNode 和 NodeManager。但是，如果配置正确，这一切都由 Hadoop 处理 - 您可以在从主节点启动集群后检查哪些进程正在运行。主节点基本上负责一切，您“永远”不需要手动连接到从节点进行任何配置。

我的回答是针对小型集群，可能在更大的“真实”集群中，服务器职责更加分离。

Answer 2

要全面了解多节点集群概念，请点击此链接--http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/

要实现多节点集群步虎钳，请点击此链接 -- http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

希望这些链接对您有所帮助