在单节点上配置YARN
(1)配置yarn-env.sh 文件
查看JAVA_HOME 的值
配置文件中的export JAVA_HOME=/opt/modules/jdk1.7.0_79/
(2)配置yarn-site.xml
YARN上可以运行很多类型框架的应用 这里只配置运行MapReduce
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
(3)slaves文件
这个文件只配置ip 或主机名 一行就是一个机器 这个文件决定了 datanode nodeManager 等所在的机器
添加一行:hadoop1 这就说明datanode 跟 nodeManager在主机名为hadoop1的机器上
(4)启动
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
用jps查看 多了两个进程
(5)YARN 也有web监控界面 端口号是8088
(6)把MapReduce运行在yarn上边 MapReduce默认运行在本地
查看JAVA_HOME 的值 echo $JAVA_HOME
1)yarn-env.sh 修改export JAVA_HOME =/opt/modules/jdk1.7.0_79/ (查看结果)
2)将文件mapred-site.xml.template 重命名为mapred-site.xml
添加内容:指定MapReduce运行在YARN 上
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3)运行wordcount命令 输出目录不能存在 不然会报错 先删除
bin/hdfs dfs -rm -R /user/root/mapreduce/wordcount/output/
删除完成后可以通过上一篇博客中的方法 去页面看一下是否已经删除
4)运行MapReduce程序 这个时候MapReduce处理的数据是hdfs文件系统的数据 并且程序运行在YARN上
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/root/mapreduce/wordcount/input /user/root/mapreduce/wordcount/output
根据步骤(5)方法 刷新页面 就会看到yarn下已经有程序在运行
等运行完成 根据上一篇博客 查看是否有output文件 也可以查看结果是否存在
查看:bin/hdfs dfs -cat /user/root/mapreduce/wordcount/output/part-r-00000