【问题标题】:Hadoop multi node configuration: Master node not able to initiate data node in slaveHadoop 多节点配置:主节点无法在从属节点中启动数据节点
【发布时间】:2016-02-22 10:29:53
【问题描述】:

在下面的例子中,土星是主节点,冥王星是从节点。

hadoop@saturn:~$ start-dfs.sh
16/02/22 15:51:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [saturn]
hadoop@saturn's password:
saturn: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-saturn.out
hadoop@saturn's password: pluto: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hadoop-datanode-pluto.out

它在最后一条指令处挂起。

我很困惑为什么会这样。

更新:之前我在 usr/local/hadoop/slaves 文件中都有土星和冥王星,但是当我将其更改为冥王星时,它才运行。但是现在 datanode 没有在 slave/pluto 节点中启动。

根据@running 的要求:

/usr/local/hadoop/logs/hadoop-hadoop-datanode-pluto.out的日志

ulimit -a 用于用户 hadoop 核心文件大小(块,-c)0 数据段大小 (kbytes, -d) 无限制 调度优先级 (-e) 0 文件大小(块,-f)无限制 待处理信号 (-i) 15838 最大锁定内存 (kbytes, -l) 64 最大内存大小 (kbytes, -m) 无限制 打开文件 (-n) 1024 管道大小(512 字节,-p)8 POSIX 消息队列(字节,-q)819200 实时优先级 (-r) 0 堆栈大小(千字节,-s)8192 cpu时间(秒,-t)无限制 最大用户进程 (-u) 15838 虚拟内存 (kbytes, -v) 无限制 文件锁 (-x) 无限制

/usr/local/hadoop/logs/hadoop-hadoop-namenode-saturn.out 的日志

ulimit -a 用于用户 hadoop 核心文件大小(块,-c)0 数据段大小 (kbytes, -d) 无限制 调度优先级 (-e) 0 文件大小(块,-f)无限制 待处理信号 (-i) 1031371 最大锁定内存 (kbytes, -l) 64 最大内存大小 (kbytes, -m) 无限制 打开文件 (-n) 1024 管道大小(512 字节,-p)8 POSIX 消息队列(字节,-q)819200 实时优先级 (-r) 0 堆栈大小(千字节,-s)8192 cpu时间(秒,-t)无限制 最大用户进程 (-u) 1031371 虚拟内存 (kbytes, -v) 无限制 文件锁 (-x) 无限制

(我对格式感到抱歉)

【问题讨论】:

  • 能否显示日志:/usr/local/hadoop/logs/hadoop-hadoop-datanode-pluto.out/usr/local/hadoop/logs/hadoop-hadoop-namenode-saturn.out
  • 还有 saturn 中 jps 的输出:4522 ResourceManager 3902 SecondaryNameNode 3662 NameNode 4822 Jps 还有 pluto 中 jps 的输出:2672 Jps 2545 NodeManager

标签: hadoop installation


【解决方案1】:

发生这种情况是因为这两个文件没有写入所需的权限。 所以我对 /usr/local/ 做了 chown 和 chmod,它起作用了。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-12-03
    • 2014-04-09
    相关资源
    最近更新 更多