【发布时间】:2015-09-27 19:06:49
【问题描述】:
我尝试将复制更改为 3,我可以看到我加载到 hdfs 中的文件的复制更改为 3,但我看不到其他 2 个副本。有人可以回答在这种情况下会发生什么。
【问题讨论】:
标签: hadoop replication
我尝试将复制更改为 3,我可以看到我加载到 hdfs 中的文件的复制更改为 3,但我看不到其他 2 个副本。有人可以回答在这种情况下会发生什么。
【问题讨论】:
标签: hadoop replication
您不会看到任何副本,因为您没有其他节点来创建它们。不能在同一节点中创建副本。但是在您的 NameNode 中,您会看到 Number of Under-Replicated Blocks 度量值不为零。如果您进一步在集群中附加新数据节点,under-replicated 块应该自动启动复制(显然这意味着配置完整集群而不是伪集群)。
您可以在名称节点 web ui 中看到 Number of Under-Replicated Blocks 指标:http://localhost:50070/dfshealth.html#tab-overview(默认情况下在伪集群配置中)。
【讨论】:
建议将 dfs.replication 设置为“1”,否则在运行单个datanode或伪分布式模式时,HDFS无法将块复制到指定数量的datanode,并且会警告块被复制不足
【讨论】: