本节目标:

掌握MR的两种执行环境

MR的执行环境主要有两种,本地测试环境和服务器环境

1、本地测试环境

项目src下不能添加hadoop相关的配置文件。

(1)window下配置hadoop的环境变量

Hadoop——MR执行环境Hadoop——MR执行环境

(2)拷贝相关工具(winutils.exe,hadoop.dll)到hadoop安装路径下的bin目录下

Hadoop——MR执行环境

(3)项目下添加hadoop修改后的源码

Hadoop——MR执行环境Hadoop——MR执行环境

(4)因为没有配置文件,所以要手动设置配置信息。

Hadoop——MR执行环境

(5)执行测试

Hadoop——MR执行环境


2 服务器环境

(1)项目src目录下要添加相关配置文件

Hadoop——MR执行环境

(2)将MR程序打jar,发送到服务器上

Hadoop——MR执行环境

(3)命令执行任务:hadoop jar jar路径 类的全限定名

Hadoop——MR执行环境

通过测试代码测试以上两种执行环境。



















相关文章: