关闭 DataNode - Windows 10 上的 Hadoop 安装答案

【问题标题】：Shutting Down DataNode - Hadoop installation on Windows 10关闭 DataNode - Windows 10 上的 Hadoop 安装
【发布时间】：2020-11-07 17:53:48
【问题描述】：

我正在尝试在 Windows 10（64 位）上安装 Hadoop 版本 3-1.0 和 Java 1.8.0_261。这是我在 hdfs-site.xml 中的配置

<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:///C:/hadoop-3.1.0/hadoop-3.1.0/data/namenode</value>
 </property>
 <property>
  <name>dfs.datanode.failed.volumes.tolerated</name>
  <value>0</value>
 </property>
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:///C:/hadoop-3.1.0/hadoop-3.1.0/data/datanode</value>
 </property>
</configuration>

一切都已正确安装，但是当我运行start-dfs.cmd 时，我的namenode 开始运行，但datanode 没有。它给出了以下错误：

错误 datanode.DataNode：secureMain 中的异常 org.apache.hadoop.util.DiskChecker$DiskErrorException: 失败太多卷 - 当前有效卷：0，已配置卷：1，卷失败：1，容忍的卷失败：0

我已经尝试了所有方法，即将dfs.datanode.failed.volumes.tolerated 设置为 1，将其完全删除，但没有任何帮助。

我已经搜索了很多，但无法修复它。任何帮助将不胜感激。谢谢。

【问题讨论】：

你已经格式化了namenode了吗？
是的，我做到了。我通过从 dfs.datanode.data.dirfile:///C:/hadoop-3.1.0/hadoop-3.1 更改 hdfs-site.xml 让它工作了.0/data/datanode 到 dfs.datanode.data.dirdatanode
这与格式化数据节点卷或清除目录的结果相同。那里首选绝对路径
但格式化namenode并没有帮助。而且我没有格式化数据节点。
您移动了数据目录。当你只有一台机器和一个磁盘时同样的效果

标签： java hadoop

【解决方案1】：

我即兴创作了你的答案，它似乎对我有用。将数据节点同样更改为名称节点。

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>datanode</value>
    </property>
</configuration>

它会在你的 sbin 文件夹中创建 datanode 和 namenode 目录（start-all.cmd 的默认目录）。

【讨论】：