/opt/hadoop/hadoop-2.6.0/share/hadoop/mapreduce目录下有demojar包:

hadoop-mapreduce-examples-2.6.0.jar

hadoop_运行demo

查看此jar包中都有哪些例子:

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar

hadoop_运行demo

其中一个就是wordcount,再看一下它的用法:

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount

 hadoop_运行demo

多个输入,一个输出

因此先准备一个文件:

 hadoop_运行demo

hdfs中准备好input目录:

hadoop dfs -mkdir /input

hadoop dfs -mkdir /output

将文件拷贝到hdfs

hadoop dfs -put /opt/hadoop/input/wordcountTestData.txt /input/wordcountTestData.txt

 

执行任务:

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar /input/wordcountTestData.txt /output/wordcountResult-fake-cluster

运行过程中,从页面查看yarn中的状态:

http://192.168.75.108:18088

hadoop_运行demo

截了四次图,如上,状态从acceptedrunningfinished,进程条也在变化。

后台日志:

hadoop_运行demo

结束后看输出目录:

 hadoop_运行demo

查看输出内容:

hadoop_运行demo

相关文章:

  • 2021-12-02
  • 2021-12-05
  • 2021-12-25
  • 2021-07-27
  • 2021-08-27
  • 2022-12-23
猜你喜欢
  • 2021-09-01
  • 2021-04-29
  • 2021-08-19
  • 2022-12-23
  • 2021-06-18
  • 2021-12-26
  • 2021-07-03
相关资源
相似解决方案