如何在hadoop HDFS中拆分网络负载

Question

我有两台服务器hadoop，一台是namenode，另一台是辅助namenode。 两者都是datanode，目前当我想使用namenode 8020的端口读取文件时它可以工作，但是所有的网络负载都到了那个节点，有没有办法划分网络负载以利用两个服务器？

感谢您的帮助

Answer 1

对于您的情况，您无能为力。 Namenode HA 存在，但它更多的是活动/备用而不是分布式。最接近您想要的东西称为federation，但这更适用于 10K 节点而不是 2 个节点的情况。

您可以在此处阅读有关这些内容的更多信息：

• HDFS Federation
• HDFS High Availability Using the Quorum Journal Manager

Answer 2

这里有几件事可能会有所帮助：

1. 从不建议将数据节点与名称节点放在相同的节点上。

2. 如果您的文件存储在也是主名称节点的数据节点上，则所有网络流量都将流向该节点。您要求该节点（作为名称节点）查找文件，然后从同一节点（作为数据节点）返回它。

如果你有更多的服务器，这个问题就会消失。