本地模式运行

 1.在Windows里的IDE直接运行main方法,会将job提交给本地执行器localjobrunner执行

  ---本地存放Hadoop安装包

  ---输入输出数据可以放在本地路径下(c:/wc/srcdata/)

  ---输入输出数据也可以放在hdfs中(hdfs://CentOS7One:9000/wc/output3)

 

2.在Linux的IDE直接运行main方法,会将job提交给本地执行器localjobrunner执行

  ---输入输出数据可以放在本地路径下(/usr/local/wc/srcdata/)

  ---输入输出数据也可以放在hdfs中(hdfs://CentOS7One:9000/wc/output3)

 

集群模式运行

1.将工程打成jar包,上传到服务器,用Hadoop命令提交,hadoop jar wc.jar

2.在Linux的IDE中运行,需要添加mapred-site.xml和yarn-site.xml

3.在Windows的IDE中运行,本地存放Hadoop安装包,需要将lib和bin目录替换成编译出的文件

相关文章:

  • 2021-11-19
  • 2021-05-21
  • 2022-12-23
  • 2022-01-23
  • 2021-11-13
  • 2021-11-19
  • 2021-12-27
猜你喜欢
  • 2021-07-22
  • 2021-11-26
  • 2021-12-21
  • 2021-12-13
  • 2021-12-12
  • 2022-12-23
相关资源
相似解决方案