前天装hadoop,为了便于自身,写下这么一篇心得。
安装之前,首先确认自身已经设置好了ssh免密登录,不然后面比较麻烦。
配置详情
网卡配置:
输入命令: vi /etc/sysconfig/network-scripts/ifcfg-eth0
DNS2和GATWAY一样,这是你的虚拟机的网关,每个人的不一致。把DNS2直接写上就可以了。
配置主机名:
输入命令:vi /etc/sysconfig/network
将HOSTNAME=hadoop01 (想改成啥改成啥,但是前提要和SSH配置的一致,我这个是方便记忆)
关闭防火墙
chkconfig iptables off 永久关闭
查看防火墙状态
service iptables status
配置完以后重启网络服务 service network restart
接下来正式安装hadoop
一、安装之前去官网下载好hadoop的安装包或者使用MobaXter在线安装。
在线安装命令为:
yum -y install 后面为Hadoop的版本地址,我的是hadoop-2.7.7
二、解压到安装目录
tar -zxvf /root/hadoop-xxx -C /usr/local
三、配置环境变量
输入命令: vi /etc/profile
在最后面写上变量:(版本号写自己的,不知道的版本号的去当下目录输入wps可以看到路径和版本号)。
而 后 更新生效: source /etc/profile
四、修改配置文件
首先跳转到该目录(输入自己的hadoop安装目录)
cd /usr/local/hadoop-2.7.7/etc/hadoop/
在该目录下可以按ll查看有好多配置文件
1.vi hadoop-env.sh
按i 进入编辑(后面都一样)
找到 #The java implementation to use.
输入: export JAVA_HOME=/usr/local/jdk1.8.0_211(注意跟自己的版本号)
按etc ,然后shift+冒号 ,输入wq退出,以下都一样,不解释了
- vi core-site.xml
找到 configuration 节点,在里面输入
3.vi hdfs-site.xml,如上步找到configuration节点,输入
4. 有个mapred-site.xml.tmplate 配置文件,将其修改为
mv mapred-site.xml.tmp* mapred-site.xml
而后 vi mapred-site.xml
输入
5.vi yarn-site.xml进入后,同上步找到configuration节点
value节点注意 输入的和你的host名字一样,我的位hadoop01
- vi slaves 进来以后把localhost删除
而后输入自己的另外俩个虚拟机的Host,
hadoop02
hadoop03
五、hadoop01配置完以后,直接将hadoop传给另外俩虚拟机
scp -r /usr/lcoal/hadoop-2.7.7 hadoop02:/usr/local
scp -r /usr/lcoal/hadoop-2.7.7 hadoop03:/usr/local
路径和hadoopxx都是自己设置的,写成自己的。
六、初始化(只需一次即可,切记,不然后面出错修改很麻烦)
hadoop namenode -format
出现以下字样为启动成功,只要没error警告
七、一键集群启动
八、通过网页查看,使用谷歌、火狐等。别用IE
输入ip地址
我的为 192.168.152.110:50070(50070为端口号)
页面成功跳转后为启动成功,如若报错,留下问题,我来解释。