例子:单词统计例子

学习Hadoop(四)MapReduce架构模型,搭建MR,简单MR计算例子

注意map处理为key-value,value不能为基本数据类型,String-->Text int-->IntWritable

学习Hadoop(四)MapReduce架构模型,搭建MR,简单MR计算例子

MR1.0架构(配合HDFS1.0)

学习Hadoop(四)MapReduce架构模型,搭建MR,简单MR计算例子

Client分配任务给Job Tracker, Job Tracker调度任务给DataNode,在调度任务之前DataNode上的TaskTracker进程会监控该DataNode资源占用情况,TaskTracker与Job Tracker保持心跳汇报当前资源使用情况和咨询Job Tracker本节点的新任务是什么。

 

学习Hadoop(四)MapReduce架构模型,搭建MR,简单MR计算例子

MR2.X架构:

学习Hadoop(四)MapReduce架构模型,搭建MR,简单MR计算例子

学习Hadoop(四)MapReduce架构模型,搭建MR,简单MR计算例子

学习Hadoop(四)MapReduce架构模型,搭建MR,简单MR计算例子

在之前搭建完成的HDFS2.X的基础上搭建MR2.X:

1、ResourceManager主备免秘钥:ssh-****** -t dsa -P '' -f ~/.ssh/id_dsa产生秘钥。追加到自身验证文件cat id_dsa.pub >> authorized_keys。传送给目标scp id_dsa.pub node04:`pwd`/node03.pub。将秘钥追加至验证文件cat node03.pub >> authorized_keys

2、hadoop/etc/hadoop/ 下面修改配置文件名字:mv mapred-site.xml.template mapred-site.xml。并添加内容:

学习Hadoop(四)MapReduce架构模型,搭建MR,简单MR计算例子

3、修改yarn-site.xml:

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>
4、将本节点修改的配置文件分发至其他节点:scp yarn-site.xml mapred-site.xml node02:`pwd`

5、启动zookeeper+启动hdfs+启动yarn(start-yarn.sh)

注意启动yarn后,nodeManager进程会启动但是RM进程不会,在每个RM上需要手动启动。yarn-daemon.sh start resourcemanager

6、使用自带计算程序,完成单词统计例子:

自带计算程序所在位置:hadoop/share/hadoop/ 学习Hadoop(四)MapReduce架构模型,搭建MR,简单MR计算例子

执行:hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/test.txt /wordcount

完成计算:查看结果hdfs dfs -cat /wordcount/part-r-00000 e(在hdfs前段该目录下看到名字)。

 

 

关闭:1、关闭resourcemanager:yarn-daemon.sh stop resourcemanager

2、关闭框架服务:stop-yarn.sh

3、hdfs关闭:stop-dfs.sh

4、zookeeper关闭:zkServer.sh stop

相关文章:

  • 2021-08-26
  • 2021-10-13
  • 2021-12-04
  • 2021-12-24
  • 2021-09-01
  • 2021-09-21
  • 2021-11-27
  • 2022-01-10
猜你喜欢
  • 2022-12-23
  • 2021-05-20
  • 2021-05-12
  • 2022-01-16
  • 2021-08-19
  • 2021-08-02
  • 2022-01-16
相关资源
相似解决方案