Eclipse+MapReduce开发环境

集群部署centos+jdk1.8+Hadoop2.7.2;

开发端windows+Eclipse Mars.1 Release (4.5.1)

1)hadoop-eclipse-plugin插件

需要编译,可用网上现成,这里找到hadoop-eclipse-plugin-2.7.2.jar下载(要注意编译plugin的jdk版本,后面eclipse环境和centos下jdk环境也要一致),放在eclipse的plugins文件夹。

下载hadoop-2.7.4.tar.gz解压到D:/dev/hadoop-2.7.4目录,配置到:

【数据平台】Eclipse+MapReduce开发环境(集群运行模式)

2)插件配置

打开Map/Reduce的Perspective:

【数据平台】Eclipse+MapReduce开发环境(集群运行模式)

点击小象,设置集群信息:

【数据平台】Eclipse+MapReduce开发环境(集群运行模式)

【数据平台】Eclipse+MapReduce开发环境(集群运行模式)

连接成功:

【数据平台】Eclipse+MapReduce开发环境(集群运行模式)

3)WordCount示例

代码参考官网,运行时设置:

【数据平台】Eclipse+MapReduce开发环境(集群运行模式)



 备注:提示winutils.exe问题,去下载一个放到hadoop路径bin下就可以。

相关文章: