一主两从(centos7)
10.10.0.100 master (namenode)
10.10.0.101 slave1 (datanode)
10.10.0.102 slave2 (datanode)
真机(win7)
10.10.0.1
一、安装vmware
1、设置网络
(1)、设置虚拟机链接方式为NAT方式
子网为:10.10.0.0,子网掩码为:255.255.255.0,网关为:10.10.0.254
(2)、真机VMnet8(真机和虚拟机NAT连接的专用网卡)网卡的ip地址为10.10.0.1,子网掩码为:255.255.255.0,网关为:10.10.0.254
2、新建虚拟机
安装centos7(纯净,以后实验备用)
二、master节点的安装与设置
1、完整克隆出master
关闭防火墙
$>systemctl stop firewalld //临时关闭
$>systemctl disable firewalld //永久关闭
2、设置ip
$>vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static //静态IP
ONBOOT=yes //开机启动
IPADDR=10.10.0.100 //IP地址
GATEWAY=10.10.0.254 //网关
NETMASK=255.255.255.0 //子网掩码
DNS1=8.8.8.8 //上外网
#修改完成后,重启网络使用ip生效:
$>service network restart
$>ping 10.10.0.1 //测试与真机的联通性
3、修改DNS以便上外网
(1)设置不通过网络管理器管理DNS
$>vi /etc/NetworkManager/NetworkManager.conf
添加:dns=none
(2)新增DNS
$>vi /etc/resolv.conf
添加:nameserver=10.10.0.254 //和网关保持一致,就类似虚拟机master和真机同接一个路由器一样,这样就共享上外网了
$>ping www.qq.com //进行外网联通测试
配置yum源
(1)备份
cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
(2)下载
下载新的 http://mirrors.aliyun.com/repo/Centos-7.repo,并命名为CentOS-Base.repo
(3)清除缓存
yum clean all # 清除系统所有的yum缓存
yum makecache # 生成yum缓存
4、安装vim便于快速编辑文本
$>rpm -qa|grep vim //查找是否安装了vim
$>yum -y install vim* //安装vim,需要连接外网
5、修改主机名
$>vim /etc/hostname
master
6、修改hosts文件
$>vim /etc/hosts
10.10.0.100 master
10.10.0.101 slave1
10.10.0.102 slave2
三、安装辅助工具
1、安装文件上传、下载工具
说明:宿主机和虚拟机之间传递文件
rz、sz命令
安装:yum install -y lrzsz
rz是上传命令,linux中执行后,可打开文件对话框,选择宿主机中的文件上传到虚拟机。
sz是下载文件,sz <文件名>就可以将linux虚拟机中的文件发送到宿主机。
2、安装SSH工具
xshell(远程登录虚拟机更方便操作)
四、安装jdk
1、安装
下载jdk,并通过rz传入master虚拟机,解压即可。
(1)事先创建目录,命令:mkdir -p /home/hadoop/download ,说明:download专门放下载的安装包(jdk、hadoop、hbase等),安装于hadoop目录下。
(2)解压:tar -zxvf /home/hadoop/download/jdk-8u181-linux-x64.tar.gz -C /home/hadoop/
2、配置
$>vim /etc/profile(编辑配置文件)
添加:
export JAVA_HOME=/home/hadoop/jdk1.8.0_181
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin
$>source /etc/profile //编译生效
五、安装hadoop
1、安装
解压命令:tar -zxvf /home/hadoop/download/hadoop-2.7.3.tar.gz -C /home/hadoop/
2、配置
(1)配置环境变量
$>vim /etc/profile
export JAVA_HOME=/home/hadoop/jdk1.8.0_181
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=.:$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP/sbin
$>source /etc/profile
(2)编辑slaves文件
进入hadoop配置文件所在目录:cd /home/hadoop/hadoop-2.7.3/etc/hadoop/
$>vim slaves
slave1
slave2
说明:将datanode的主机名写入该文件,删除原来的localhost,让master仅作为namenode用
(3)编辑core-site.xml文件
vim core-site.xml
1 <configuration> 2 <property> 3 <name>fs.defaultFS</name> 4 <value>hdfs://master:9000</value> 5 </property> 6 7 <property> 8 <name>hadoop.tmp.dir</name> 9 <!-- 该临时目录主要存放secondaryNameNode的一些数据,如:fsimage、edit这样数据是为了恢复NameNode节点而准备的 --> 10 <value>/home/hadoop/hadoop-2.7.3/tmp</value> 11 </property> 12 </configuration>