在单节点上配置YARN

(1)配置yarn-env.sh 文件

查看JAVA_HOME 的值  

(3)Hadoop 配置部署启动YARN及在YARN上运行MapReduce程序

配置文件中的export  JAVA_HOME=/opt/modules/jdk1.7.0_79/

(3)Hadoop 配置部署启动YARN及在YARN上运行MapReduce程序

(2)配置yarn-site.xml  

YARN上可以运行很多类型框架的应用  这里只配置运行MapReduce

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>

  </property>

(3)slaves文件  

这个文件只配置ip 或主机名   一行就是一个机器  这个文件决定了 datanode  nodeManager 等所在的机器

添加一行:hadoop1    这就说明datanode 跟 nodeManager在主机名为hadoop1的机器上

(3)Hadoop 配置部署启动YARN及在YARN上运行MapReduce程序

(4)启动

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager


用jps查看 多了两个进程 

(3)Hadoop 配置部署启动YARN及在YARN上运行MapReduce程序

(5)YARN 也有web监控界面 端口号是8088 

(3)Hadoop 配置部署启动YARN及在YARN上运行MapReduce程序

(6)把MapReduce运行在yarn上边     MapReduce默认运行在本地 

    查看JAVA_HOME 的值  echo $JAVA_HOME

      1)yarn-env.sh    修改export JAVA_HOME =/opt/modules/jdk1.7.0_79/ (查看结果)

     2)将文件mapred-site.xml.template 重命名为mapred-site.xml

       添加内容:指定MapReduce运行在YARN  上

        <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>

     3)运行wordcount命令 输出目录不能存在 不然会报错 先删除

        bin/hdfs dfs -rm -R /user/root/mapreduce/wordcount/output/

      删除完成后可以通过上一篇博客中的方法 去页面看一下是否已经删除

     4)运行MapReduce程序  这个时候MapReduce处理的数据是hdfs文件系统的数据 并且程序运行在YARN上

 bin/hadoop jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/root/mapreduce/wordcount/input /user/root/mapreduce/wordcount/output

     根据步骤(5)方法 刷新页面  就会看到yarn下已经有程序在运行

    等运行完成  根据上一篇博客  查看是否有output文件  也可以查看结果是否存在

     查看:bin/hdfs dfs -cat /user/root/mapreduce/wordcount/output/part-r-00000

  

相关文章:

  • 2022-01-12
  • 2021-08-17
  • 2021-04-02
  • 2022-12-23
  • 2021-12-02
  • 2022-01-08
  • 2021-04-24
  • 2021-11-30
猜你喜欢
  • 2022-12-23
  • 2021-10-16
  • 2021-06-24
  • 2021-05-16
  • 2021-11-20
  • 2021-12-27
  • 2022-12-23
相关资源
相似解决方案