复制因子答案

【问题标题】：Replication factor复制因子
【发布时间】：2013-10-10 12:18:09
【问题描述】：

我是 Hadoop 新手，我想了解如何确定任何给定集群可以拥有的最高复制因子。我知道默认设置是 3 个副本，但是如果我有一个具有 5 个节点的集群，那么在这种情况下我可以使用的最高复制因子是多少。是否有我们必须遵循的公式来确定复制因子？

谢谢

【问题讨论】：

【解决方案1】：

在 Hadoop 环境中，对于 3 台从机，默认复制因子为 3 或更多。这是一个简单的公式是'N'复制因子='N'从节点。这是有关复制的更多信息http://commandstech.com/replication-factor-in-hadoop/

【讨论】：

【解决方案2】：

您可以使用的最高复制因子是集群中节点数量的函数（正如@Tarik 所说，您的副本不能多于集群中的节点），您的预期使用量（您计划多少数据存储）和集群的存储容量。

另一个SO question 对容量和存储使用进行了一些计算。

【讨论】：

【解决方案3】：

显然你不能拥有比节点更多的副本，因为在同一个节点上存储两个副本是没有用的。在我看来是上限。

【讨论】：