【问题标题】:Yarn nodemanager not starting up. Getting no errors纱线节点管理器未启动。没有错误
【发布时间】:2017-10-12 06:39:27
【问题描述】:

我在 Ubuntu 16.04 上安装了 Hadoop 2.7.4。我正在尝试以伪模式运行它。 我为所有 hadoop 文件、NameNode 和 DataNode 文件安装了一个“/hadoop”分区。

我的 core-site.xml 是:

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

</configuration>

我的 hdfs-site.xml 是:

<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/hadoop/nodes/namenode</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/hadoop/nodes/datanode</value>
</property>

</configuration>

我的 mapred-site.xml 是:

<configuration>

<property>
<name>Map-Reduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>

我的 yarn-site.xml 是:

<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>Map-Reduce_shuffle</value>
</property>

</configuration>

运行后

$ start-dfs.sh 
$ start-yarn.sh
$ jps

我让以下守护进程运行。

2800 ResourceManager
2290 NameNode
4242 Jps
2440 DataNode
2634 SecondaryNameNode

start-yarn.sh 给我:

$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /hadoop/hadoop-2.7.4/logs/yarn-abdy-resourcemanager-abdy-hadoop.out
localhost: starting nodemanager, logging to /hadoop/hadoop-2.7.4/logs/yarn-abdy-nodemanager-abdy-hadoop.out

nodemanager 守护进程似乎根本没有启动。 我已经尝试了 2 天来解决这个问题,但我似乎找不到解决方法。有人请指导我。

【问题讨论】:

    标签: linux hadoop hadoop-yarn daemon


    【解决方案1】:

    如果您是第一次启动 hadoop 守护进程。

    首先你必须格式化你的namenode:

    hadoop namenode -format
    

    在格式化namenode之前确保你删除了现有的
    /hadoop/nodes/namenode 和 /hadoop/nodes/datanode 文件夹

    然后你执行:

    hadoop namenode -format
    

    namenode 格式化完成后。
    你执行以下命令。

    start-dfs.sh
    start-yarn.sh
    

    【讨论】:

    • 我已经完成了所有这些。问题是 NodeManager 内存不足,我必须限制 NodeManager 允许的 RAM 使用量才能正常工作。
    猜你喜欢
    • 2016-09-21
    • 1970-01-01
    • 2020-10-28
    • 1970-01-01
    • 2019-06-20
    • 2021-09-04
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多