k142857

前面的任务中我们已经搭建了一个伪分布模式的Hadoop运行环境。小讲知道,我们绝大多数同学都习惯在Eclipse中做Java开发,这个课程就是教大家如果搭建一个基于Eclipse IDE的Hadoop开发环境。

闲话少说,走起!

启动之前配置的Hadoop节点

启动节点之后别忘记测试一下是否成功运行,忘记了怎么检测就复习一下吧.

假设你的Hadoop节点IP是 192.168.1.123,下面将以MyEclipse来说明如何搭建Hadoop开发环境。

添加一条host解析

打开记事本(如果是Win7或者更高版本需要以管理员身份打开),在记事本中打开C:\Windows\System32\drivers\etc\hosts文件,添加下面一条记录并保存

  1. 192.168.1.123 single.hadoop.dajiangtai.com

安装Eclipse的Hadoop插件

首先,确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse,并能开发java程序。

下载Eclipse的Hadoop插件:hadoop-eclipse-plugin-2.2.0,将下载下来的jar文件放入 MyEclipse X\dropins目录下,然后重启MyEclipse

设置本地Hadoop安装运行目录

首先,明确本地的JDK是32位版本还是64位版本,这一点非常重要,如果出错,后面会导致运行程序出错。

如果JDK是32位版下载 hadoop2.2 32位版Windows运行包

如果JDK是64位版下载 hadoop2.2 64位版Windows运行包

解压下载的文件包,存放在你希望的某个目录下,比如:D:/hadoop-2.2.0。

重启MyEclipse/Eclipse,菜单:Windows-Preferences 中会多出一个 Hadoop Map/Reduce的项。点击这一项,右侧选择你的Hadoop存放目录 (D:/hadoop-2.2.0),

配置环境变量

添加环境变量:HADOOP_HOME,值为你的Hadoop运行目录,比如:

  1. D:\hadoop-2.2.0

修改Path变量,添加:

  1. ;%HADOOP_HOME%\bin

添加Map/Reduce Location

将Eclipse/MyEclipse切换到Map/Reduce视图,底部操作区会出现Map/Reduce Locations项,如下图所示:

在上图所示区域点击鼠标右键,然后New Hadoop location...在弹出的界面中做如下设置:

检查DFS是否配置成功

展开右部操作区域的DFS Locations,会看到子目录single.hadoop.dajiangtai.com,展开。如果你之前在DFS中传有文件的话,这里应该可以看到文件,如下图所示:

在根目录下右键,会出现下图所示的操作菜单,你可以创建目录,上传文件,剩下的就不用小讲说了吧。赶快体验一下吧。

注意:创建文件或目录后需要刷新才能看到新的列表。

如果和预想的一样,你看到文件或者没有报错,那么恭喜你,环境已经初步搭建成功(运行程序可能还会出现问题)。

分类:

技术点:

相关文章: