【发布时间】：2019-01-30 12:06:30
【问题描述】：
我想知道 HDFS 联邦和全新 HDFS 集群之间的区别，我应该使用联邦还是只构建一个全新的集群？
【问题讨论】：
标签： hadoop hdfs federation
【发布时间】：2019-01-30 12:06:30
【问题描述】：
Federation/ViewFS 将允许您从现有集群访问全新的 NameNode（集群）名称服务或桥接两个现有集群。
【讨论】：
通常，当您拥有一个非常大的集群（1000 多个）并且您正在突破 HDFS 中可以存储的内容的限制时，会使用联合。联合允许您划分命名空间并将所有数据保存在一个 HDFS 实例中。根据您使用数据的方式，您可能希望使用联合或拥有多个较小的 Hadoop 集群，然后在需要在集群之间传输数据时使用 distcp。例如，如果您的数据是孤立的，那么使用多个集群是有意义的。如果您的数据已超出 NameNode 的内存，但您仍想对其进行一些分析，那么联合将是有意义的。
Twitter 使用联合并在其博客 Hadoop filesystem at Twitter 中提及。您还可以阅读 Microsoft 的 Íñigo Goiri 和 Uber 的 Chao Sun 撰写的 HDFS router-based federation。
【讨论】：