【发布时间】：2015-11-22 16:20:37
【问题描述】：
我想从我的 hadoop 集群中删除 datanode，但不想丢失我的数据。是否有任何技术可以将我要删除的节点上的数据复制到扩孔数据节点？
【问题讨论】：
标签： hadoop
【发布时间】：2015-11-22 16:20:37
【问题描述】：
您的 hadoop 集群的复制因子是多少？ 如果是默认的，一般是3，你可以直接删除datanode，因为数据会自动复制。这个过程一般由名称节点控制。 如果将集群的复制因子更改为 1，那么如果删除该节点，则其中的数据将丢失。您无法进一步复制它。
【讨论】：
-
假设我有 4 个节点，我想删除其中 2 个，我正在删除数据节点的数据是否会自动复制到其余两个数据节点.....
-
你有 4 个节点，你删除了一个。这意味着剩下 3 个节点，每个节点包含相同的数据，因为复制因子为 3。当您再删除一个节点时，名称节点无法为第三个副本创建插槽。因此，它会不断抱怨，并且会永久尝试将它们带到预期的复制因子。HDFS 系统有一个参数，复制因子，它告诉名称节点每个块应该如何复制。在系统设法复制每个块的次数达到复制因子指定的次数之前，它会继续尝试这样做。
-
这意味着我不会丢失我的数据，还有一件事我们可以在删除 4 个节点中的第 2 个节点后将复制值更改为 2 到 hdfs-site.xml 中......
-
是的。您的数据将在那里，但只有两个副本。是的，您可以更改复制值。
-
提供的网站地址可以帮助您。 sites.google.com/site/hadoopandhive/home/…