马士兵hadoop2.7.3_hadoop集群搭建

• 预备知识

本文假设你已经对虚拟机软件、Linux等有初步的了解，如果你不了解这方面的内容，请首先学习马士兵Linux教程

• 下载软件

1. 下载VirtualBox
2. 下载CentOS
3. 下载XShell与XFtp 请在百度自己搜索与安装
4. 下载jdk
5. 下载hadoop2.7.3

• 安装VirtualBox

设定VirtualBox虚拟网卡的IP地址

• 设置虚拟机中的网络设置

1. 在虚拟机中选用host-only网络
2. vi /etc/sysconfig/network 
   NETWORKING=yes
   GATEWAY=192.168.56.1
3. vi /etc/sysconfig/network-sripts/ifcfg-enp0s3 TYPE=Ethernet IPADDR=192.168.56.100 NETMASK=255.255.255.0
4. 修改主机名hostnamectl set-hostname master (主机名千万不能有下划线！)
5. 如果需要虚拟机上网还需要配置/etc/resolv.conf
6. 重启网络service network restart
7. 检查ssh服务的状态 service network restart
8. 互相ping，看是否测试成功，若不成功，注意防火墙的影响。关闭windows或虚拟机的防火墙。systemctl stop firewalld system disable firewalld

• 使用XShell登陆

检查ssh服务状态systemctl status sshd (service sshd status)，验证使用XShell是否能登陆成功。

• 将hadoop和jdk上传到虚拟机
• 安装JDK rpm -ivh ./xxxxx.jdk，验证rpm -qa | grep jdk，在命令行中敲java命令，确认jdk已经安装完成

jdk默认安装在/usr/java目录下

• 安装hadoop

cd /usr/local
tar –xvf ./hadoop-2.7.2.tar.gz
把目录修改为hadoop mv hadoop-2... hadoop
修改hadoop-env.sh
vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
修改export JAVA_HOME 语句为 export JAVA_HOME=/usr/java/default
把/usr/hadoop/bin和/usr/hadoop/sbin设到PATH中
vi /etc/profile
追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin
source etc/profile
测试hadoop命令是否可以直接执行，任意目录下敲hadoop

• 关闭虚拟机，复制3份

分别修改虚拟机的ip和hostname，确认互相能够ping通，用ssh登陆，同时修改所有虚拟机的/etc/hosts，确认使用名字可以ping通

• 关闭各个机器上的防火墙 (master / slaves)

systemctl stop firewalld service

systemctl disable firewalld service