按这个图标 传输文件JDK
![在这里插
用JPS验证是否装好JDK 找JAVA的安装路径 配置变量环境
输入代码
加载文件试一试
验证，表示JDK没装好
重新进入，改PATH为绝对路径
改完以后出来 source加载一遍，让系统知道我们改了代码
输入JPS验证，出现了数字则表示成功
设置免秘钥 .ssh文件是用来存储秘钥的
输入代码
出现这个就是正确的
输入权限文件代码
输入ssh localhost 出现数字，没有要求输入密码就是正确的
exit 退出 创建software文件夹
Ll列出目录，发现有software文件夹
进入 software导入压缩包
Cd 进opt 建 hzh文件夹 进入hadoop2.6.5
配置文件 保存之后source加载一遍，让系统知道我们改了代码 输入hd之后按TAB键，如果联想出来fs就说明正确
将JAVA_HOME地址改成绝对地址/usr/java/jdk1.7.0_67。 修改hadoop配置文件信息
在configuration中间加入上图这段代码
在configuration中间加入下图这段代码
将localhost改成node03
格式化
格式化成功如下图
输入start-dfs.sh 启动集群
在浏览器输入node03:50070
创建目录：hdfs dfs -mkdir -p /user/root
上传文件： hdfs dfs -put a.txt /user/root
在hdfs里建立输入目录和输出目录
hdfs dfs -mkdir -p /data/input
hdfs dfs -mkdir -p /data/output
将要统计数据的文件上传到输入目录并查看
hdfs dfs -put 500miles.txt /data/input
hdfs dfs -ls /data/input
进入MapReduce目录
cd /opt/ldy/hadoop-2.6.5/share/hadoop/mapreduce/
运行wordcount
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /data/input /data/output/result
查看运行结果
hdfs dfs -ls /data/output/result
hdfs dfs -cat /data/output/result/part-r-00000
停止集群：stop-dfs.sh
将jdk-7u67-linux-x64.rpm 发生给另外三台
将node03 /etc下的profile文件发送给另外三台虚拟机
输入 yum -y install ntp
输入ntpdate timel.aliyun.com 同步四台虚拟机时间
输入cat /etc/sysconfig/network 查看四台虚拟机的hostname是否正确
输入cat /etc/hosts 查看ip映射是否正确
输入cat /etc/sysconfig/selinux 查看SELINUX=disabled 是否正确
输入service iptables status 查看防火墙是否关闭
在家目录下ll -a查看是否有.ssh文件，如果没有就ssh localhost下
cd.ssh 并ll查看 将node03的公钥发给另外三台虚拟机
在node04的.ssh目录下看是否有node03.pub有的话追加到authorized_keys
cat node03.pub >> authorized_keys
并且在node03上ssh node04看是否免**了，登录成功后记得exit
node03与node04间互相免**: node03可免**登录node04，那现需node04上能免**登node03，在node04上：ssh-****** -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
再将**分发到node03上：scp id_dsa.pub node03:pwd/node04.pub此时还差最后一步即是在node03中将**追加到authorized_keys 成功后即可从node04中免秘钥登录node03
输入以下代码进入 hdfs-site.xml 进行修改
输入 vi slaves进行修改
cd /opt ，将其下的dj目录分发到node04、05、06
scp –r dj/ node04:pwd
scp –r dj/ node05:pwd
scp –r dj/ node06:pwd
在 /opt/dj 目录下传输zookeeper
修改zookeeper的配置文件
cd /opt/dj/zookeeper-3.4.6/conf
给zoo_sample.cfg改名
cp zoo_sample.cfg zoo.cfg
输入vi zoo.cfg 进行修改改dataDir=/var/ldy/zk 并在末尾追加
将zookeeper分发给node05和node06
然后输入mkdir -p - /var/dj/zk
使用echo 将 1 2 3分别打印到node4 node5 node6的var/dj/zk/myid中
再cat查看
输入 vi + /etc/profile
修改内容，加入zookeeper_homehe等内容
将profile发给node05和node06
在三台机子上进行 source /etc/profile
然后进行验证输入zkCli.s按tab能够补全为zkCli.sh则成功。
在三台虚拟机上同时输入zkServer.sh start启动
并输入 zkServer.sh status 检查节点状态
如果无法启动 vi /etc/profile 将JAVA_HOME的路径改为绝对路径
在node03 node04和node05上输入hadoop-daemon.sh start journalnode 启动
并输入jps检查 主机下图1 另外两台和二图一致
输入hdfs namenode -bootstrapStandby同步
在node04上执行zkCli.sh打开zookeeper客户端看hadoop-ha是否打开
在node03上启动hdfs集群：
start-dfs.sh
在四台虚拟机上输入jps
把mapred-site.xml.template留个备份，并且改下名字
cp mapred-site.xml.template mapred-site.xml
在mapred-site.xml里添加如下property
mapreduce.framework.name
yarn
在yarn-site.xml里添加如下property
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
cluster1
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
node05
yarn.resourcemanager.hostname.rm2
node06
yarn.resourcemanager.zk-address
node04:2181,node05:2181,node06:2181
接下来将node05和node06互相可以免秘钥登录具体操作与之前node03和node04基本一致。
1.启动zookeeper，全部会话zkServer.sh start
2.在node03上启动hdfs，start-dfs.sh
3.在node03上启动yarn，start-yarn.sh
4.在node05、06上分别启动resourcemanager，
yarn-daemon.sh start resourcemanager
5.全部会话jps，看进程全不全
在浏览器访问node05:8088，查看resourcemanager管理的内容
1.cd /opt/dj/hadoop-2.6.5/share/hadoop/mapreduce
2.在hdfs里建立输入目录和输出目录
hdfs dfs -mkdir -p /data/in
hdfs dfs -mkdir -p /data/out
3.将要统计数据的文件上传到输入目录并查看
hdfs dfs -put ~/500miles.txt /data/in/
hdfs dfs -ls /data/in
4. 运行wordcount(注意：此时的/data/out必须是空目录
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /data/in /data/out/result
查看运行结果
hdfs dfs -ls /data/out/result
hdfs dfs -cat /data/out/result/part-r-00000
关闭集群：
node03: stop-dfs.sh
node03: stop-yarn.sh (停止nodemanager)
node05,node06: yarn-daemon.sh stop resourcemanager
Node04、05、06：zkServer.sh stop
把hadoop.dll拷贝到以下路径
安装ecipse-mars，此版本的eclipse带插件，可以可视化的看到hadoop的一些东西，比较方便。如果eclipse界面下方没有小象图标，则做后续三步调出
文章后面部分关于eclipse部分引用李东阳老师的资料，因为个人技术受限无法完成。