我们可以为 CDH4 中的 dfs.data.dir 指定两个不同的分区吗？

【问题标题】：Can we specify two different partitions for dfs.data.dir in CDH4?我们可以为 CDH4 中的 dfs.data.dir 指定两个不同的分区吗？
【发布时间】：2013-01-18 06:17:10
【问题描述】：

由于 CDH4 遵循 JBOD 模式，为 n 个节点创建从 1 到 n 的目录。我可以在数据目录的两个不同分区中有两个同名的目录吗？我有每个 100GB 的 /mnt/disk1 和 /mnt/disk2 分区，我想将它们都用于 HDFS。以下conf是否有效

<property>
<name>dfs.datanode.data.dir</name>
<value>/mnt/disk1/1/dfs/dn,mnt/disk2/1/dfs/dn,mnt/disk1/2/dfs/dn,mnt/disk2/2/dfs/dn</value>
</property>

【问题讨论】：

标签： hadoop hdfs

【解决方案1】：

是的。就配置而言，它只是将这些视为不同的目录。如果每个设备都是不同的设备，您将获得更高的效率，因为这将有助于克服 IO 限制。

【讨论】：

好的。所以你说这会奏效。谢谢！！我只是试一试并接受答案..:)
只是确定，每个磁盘有两个分区对吗？所以它类似于 sdb1 => /mnt/disk1/1/dfs/dn, sdb2 => /mnt/disk1/2/dfs/dn, sdc1 => /mnt/disk2/1/dfs/dn, sdc2 => / mnt/disk2/2/dfs/dn?如果每个磁盘只有一个分区，那么您可能会遇到麻烦。如果它像我展示的那样安装没问题，但我不确定额外的分区是否有任何效率。