数据节点不启动答案

【问题标题】：Data-Node Does Not Start数据节点不启动
【发布时间】：2013-10-05 19:54:56
【问题描述】：

我无法启动我的 Hadoop 数据节点。我做了所有我能做的研究，但没有一种方法有助于解决我的问题。这是我尝试使用

启动它时的终端控制台输出

hadoop datanode -start

会发生这样的事情：

root@Itanium:~/Desktop/hadoop# hadoop datanode -start
Warning: $HADOOP_HOME is deprecated.

13/09/29 22:11:42 INFO datanode.DataNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = Itanium/127.0.1.1
STARTUP_MSG:   args = [-start]
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.7.0_25
************************************************************/
Usage: java DataNode
           [-rollback]
13/09/29 22:11:42 INFO datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at Itanium/127.0.1.1
************************************************************/
root@Itanium:~/Desktop/hadoop# jps
31438 SecondaryNameNode
32013 Jps
31818 TaskTracker
1146 Bootstrap
    31565 JobTracker
    30930 NameNode

root@Itanium:~/Desktop/hadoop#

我们可以看到 DataNode 尝试启动但随后关闭。一直以来，我一直在 NameNode 启动时遇到问题。我曾经使用

手动启动它来解决这个问题

start-dfs.sh

现在问题出在 DataNode 上。非常感谢您为解决此问题提供的所有帮助。

还有一个更通用的问题。为什么 Hadoop 显示出这种不一致的行为。我确定我没有更改任何 *-site.xml 设置。

【问题讨论】：

请给我看看你的 DN 日志文件好吗？
好的，我进行了研究并查看了日志，这似乎是命名空间ID 不匹配的问题。看起来这是一个有据可查的问题，但只是为了记录我通过删除 ....hadoop/tmp/dfs/name/...." 目录解决了它......这解决了问题跨度>
@Anum Saumithri - 请发布您的解决方案作为此问题的答案，并指出您在问题日志中看到的异常。我刚刚遇到了这个问题，并且能够使用您提供的评论提示解决它。

标签： hadoop hdfs startup daemons

【解决方案1】：

我也遇到过同样的问题，原来是50010端口被其他应用占用了，停止应用，重启Hadoop

【讨论】：

【解决方案2】：

我也有类似的问题。查看 Anup 发布的评论“似乎是 namespaceID 不匹配的问题”，我能够找到一个参考资料，告诉我如何解决我的问题。 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/#caveats

我查看了 DataNode 未启动的从节点上的日志文件。他们都有以下例外：

2014-11-05 10:26:14,289 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /scratch/hdfs/data/srinivasand: namenode namespaceID = 1296690356; datanode namespaceID = 1228298945                                                                                                                                   
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232)                                                                                    
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147)                                                                           
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:385)                                                                                         
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:299)                                                                                                
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1582)                                                                                         
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1521)                                                                                  
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1539)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1665)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1682)

修复这个异常解决了这个问题。

解决方法是 a) 删除 dfs 数据目录。使用 namenode -format 重新格式化。 b) 更新 VERSION 文件，使两个命名空间 ID 匹配。

我能够使用选项 b)，之后数据节点成功启动。

导致此问题的错误报告记录在：https://issues.apache.org/jira/browse/HDFS-107

【讨论】：

【解决方案3】：

使用这个命令hadoop datanode -rollback

【讨论】：

AAlkesh_IT：为什么？它将解决所描述的问题的理由是什么？