Hadoop MR2 作业统计

Question

我的机器上安装了 Hadoop 版本 2.6.0。

hduser@vagrant:/usr/local/hadoop$ hadoop version
Hadoop 2.6.0

另外，我使用 bash sbin/start-dfs.sh 启动了 hadoop 集群，并看到 Datanode、namenode 和 secondarynode 正在运行。

hduser@vagrant:/usr/local/hadoop$ jps
2627 DataNode
2503 NameNode
3634 Jps
2825 SecondaryNameNode

我还能够提交作业，并且能够毫无问题地查看输出。

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 5

问题：- 1. 我没有看到（nodemanager 和 resourcemanager）YARN 没有运行，但作业仍然完成。 MR 作业在哪里运行，在哪里可以看到作业的状态和运行的作业数量？

这是我的 netstat 结果：-

hduser@vagrant:/usr/local/hadoop$ netstat -tulpn|grep java （并非所有进程都可以识别，非拥有进程信息 不会显示，你必须是 root 才能看到它。）

tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      2503/java       
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      2627/java       
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      2627/java       
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      2627/java       
tcp        0      0 127.0.0.1:54310         0.0.0.0:*               LISTEN      2503/java       
tcp        0      0 0.0.0.0:50090           0.0.0.0:*               LISTEN      2825/java       

Answer 1

您仍然需要配置和启动 YARN 服务（start-yarn.sh 脚本）并配置您的 mapreduce 作业以使用它：

etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

目前您的作业正在“本地”模式下启动（作业在您使用“hadoop jar”启动的 JVM 内运行），而不是在“纱线”模式下。它适用于调试，但由于只涉及一个 JVM，因此您不是在“本地”模式下进行并行/分布式计算。