一、背景
1、Hadoop版本
经查看为2.7.1Windows10+eclipse+hadoop2.7.1环境配置+wordcount
二、基础环境配置
1、jdk环境配置
Windows10+eclipse+hadoop2.7.1环境配置+wordcount
2、eclipse环境配置
推荐下载免安装的

3、下载hadoop-2.7.1.tar.gz文件
直接拷贝集群上的文件

4、下载hadoop-2.7.1-src.tar.gz文件
文件名:hadoop-2.7.1-src.tar.gz

用途:hadoop源文件,用于寻找wordcount源程序
官网上找的:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/

5、hadoop-eclipse-plugin-2.7.1.jar
文件名:hadoop-eclipse-plugin-2.7.1.jar

用途:eclipse开发hadoop插件

该文件没找到,有一个博客上说:
下载hadoop-eclipse的插件,https://github.com/winghc/hadoop2x-eclipse-plugin,把hadoop2x-eclipse-plugin-master\release\hadoop-eclipse-plugin-2.6.0.jar
(插件写的是hadoop2.6.0的插件,但是hadoop2.7也支持)下载完毕后我试一下~

6、下载winutils for hadoop-2.7.1组件
文件夹名: winutils-master\hadoop-2.7.1

用途:我也不知道,反正如果没有的话,就不能连接Hadoop跑程序

下载地址:https://github.com/steveloughran/winutils

三、编辑环境变量
1、添加环境变量
1)添加HADOOP_HOME,值为:目录名\hadoop-2.7.1\

PS:hadoop-2.7.1目录为hadoop-2.7.1.tar.gz解压后的文件夹名称。
2)追加环境变量path内容:%HADOOP_HOME%/bin

2、添加eclipse组件
将hadoop-eclipse-plugin-2.7.1.jar复制到eclipse\plugins目录下

四、eclipse配置
1、打开菜单Window–Preference–Hadoop Map/Reduce进行配置,如下图所示:
Windows10+eclipse+hadoop2.7.1环境配置+wordcount

2、显示Hadoop连接配置窗口:Window–Show View–Other-MapReduce Tools,如下图所示:
Windows10+eclipse+hadoop2.7.1环境配置+wordcount

3、在打开的Map/Reduce Locations中连接HadoopWindows10+eclipse+hadoop2.7.1环境配置+wordcount
Map/Reduce Master与DFS master的IP、端口信息可以查看Hadoop服务器上的core-site Hadoop配置文件。

PS:博主是通过Ambari安装的Hadoop,所以在Ambari管理面板上直接查看即可。

如果连接成功,则应为:

Windows10+eclipse+hadoop2.7.1环境配置+wordcount

五、Hadoop集群环境创建wordcount测试文件
1、在HDFS上创建输入文件夹input
Windows10+eclipse+hadoop2.7.1环境配置+wordcount

2、在本地创建测试输入文件
Windows10+eclipse+hadoop2.7.1环境配置+wordcount

3、上传测试文件到HDFS
PS:博主的input目录的完整路径为:/user/hadoop/input

Windows10+eclipse+hadoop2.7.1环境配置+wordcount

六、在eclipse创建Map/Reduce Project
1、新建项目
点击File–New–Other–Map/Reduce Project 命名为HadoopTest

2、新建WordCount.java文件
文件内容从:hadoop-2.7.1-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java

直接复制即可

3、创建log4j.properties文件
在src目录下创建log4j.properties文件,内容如下:

Windows10+eclipse+hadoop2.7.1环境配置+wordcount
七、Windows运行环境配置
从winutils-master\hadoop-2.7.1目录中直接拷贝bin文件夹,覆盖掉hadoop-2.7.1/文件夹中的bin目录即可。
Windows10+eclipse+hadoop2.7.1环境配置+wordcount
八、运行Project
1、在eclipse中点击WordCount.java,右键,点击Run As—>Run Configurations,配置运行参数,即输入和输出文件夹
Windows10+eclipse+hadoop2.7.1环境配置+wordcount
2、Debug

1)点击Debug进行调试

2)点击Debug标签,打开Debug详情页
Windows10+eclipse+hadoop2.7.1环境配置+wordcount
3、查看运行结果
Windows10+eclipse+hadoop2.7.1环境配置+wordcount
九、异常与问题

1、DFS中文件不能打开,提示:Editor could not be initialized
如图:
Windows10+eclipse+hadoop2.7.1环境配置+wordcount

解决方法:winutils组件版本不对,更新了2.7.1对应版本,问题解决。

相关文章:

  • 2021-08-02
  • 2022-01-08
  • 2021-03-30
  • 2021-07-30
  • 2022-12-23
  • 2021-04-21
  • 2022-12-23
  • 2021-11-28
猜你喜欢
  • 2021-08-21
  • 2021-11-25
  • 2021-11-03
  • 2020-01-30
  • 2019-02-07
  • 2021-11-22
  • 2021-11-06
相关资源
相似解决方案