如何将 Hadoop 文件系统保存在 hadoop 安装磁盘以外的物理磁盘中？

Question

我正在尝试在多节点集群环境中安装 hadoop。我已经在 SSD 上安装了 ubuntu 15.10。我想在 SSD 上安装 hadoop 2.6.2 并将我的 HDFS 保存在单独的 SATA 硬盘上。为此，我应该遵循哪些步骤？

我已经在 hdfs-site.xml 中使用以下配置在 SSD 中安装了 hadoop。因此，我将属性 dfs.datanode.data.dir 设置为 file:///media/coea23/HDFS/hdfs/datanode。但是在执行 jps 时 datanode 没有显示，而 namenode 显示的是 SSD 中已经完成 hadoop 安装的位置。

<property> 
<name>dfs.datanode.data.dir</name> 
<value>file:///media/coea23/HDFS/hdfs/datanode</value> 
<description>DataNode directory</description> 
</property> 

<property> 
<name>dfs.namenode.name.dir</name> 
<value>file:///home/hduser/hdfs/namenode</value> 
<description>NameNode directory for namespace and transaction logs storage.</description> 
</property>

请提出您宝贵的建议。提前致谢。

卡玛鲁丁

Answer 1

你在配置文件中配置这个...

每个DataNode上的hdfs-site.xml：

<property>
 <name>dfs.datanode.data.dir</name>
 <value>file:///data/1/dfs/dn,file:///data/2/dfs/dn,file:///data/3/dfs/dn,file:///data/4/dfs/dn</value>
</property>

编辑

注意：

dfs.data.dir 和 dfs.name.dir 已弃用；你应该使用 dfs.datanode.data.dir 和 dfs.namenode.name.dir 代替，尽管 dfs.data.dir 和 dfs.name.dir 仍然可以工作。