hadoop之MR Job案例

Linux 文件存储系统

HDFS 分布式文件存储系统

hdfs是架在linux上的分布式文件存储系统，如果要操作hdfs,必须在linux命令前加hdfs dfs

2.部署好hdfs，然后创建用户
在这里插入图片描述

3.bin/hdfs dfs -put etc/hadoop input （-put命令，把etc/hadoop这个目录放到input这个目录下，input就是指当前所在的目录即/uer/hadoop这个目录下）在这里插入图片描述

4. 在这里插入图片描述

5.bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar grep input output ‘fs[a-z.]+’ 在这里插入图片描述

6.map和reduce在跑的过程中，并不是一个跑完另一个再跑，可同时进行，如下图在这里插入图片描述