一主两从(centos7)

    10.10.0.100 master (namenode)

    10.10.0.101 slave1  (datanode)

    10.10.0.102 slave2  (datanode)

  真机(win7)

    10.10.0.1

一、安装vmware

 1、设置网络

  (1)、设置虚拟机链接方式为NAT方式

    子网为:10.10.0.0,子网掩码为:255.255.255.0,网关为:10.10.0.254

  (2)、真机VMnet8(真机和虚拟机NAT连接的专用网卡)网卡的ip地址为10.10.0.1,子网掩码为:255.255.255.0,网关为:10.10.0.254

 2、新建虚拟机

  安装centos7(纯净,以后实验备用)

二、master节点的安装与设置

  1、完整克隆出master

    关闭防火墙

    $>systemctl stop firewalld  //临时关闭

    $>systemctl disable firewalld  //永久关闭

  2、设置ip

    $>vi /etc/sysconfig/network-scripts/ifcfg-ens33

    BOOTPROTO=static  //静态IP

    ONBOOT=yes  //开机启动

    IPADDR=10.10.0.100  //IP地址

    GATEWAY=10.10.0.254  //网关

    NETMASK=255.255.255.0  //子网掩码

    DNS1=8.8.8.8  //上外网

    #修改完成后,重启网络使用ip生效:

    $>service network restart

    $>ping 10.10.0.1  //测试与真机的联通性

  3、修改DNS以便上外网

    (1)设置不通过网络管理器管理DNS

       $>vi /etc/NetworkManager/NetworkManager.conf

       添加:dns=none

    (2)新增DNS

      $>vi /etc/resolv.conf

      添加:nameserver=10.10.0.254  //和网关保持一致,就类似虚拟机master和真机同接一个路由器一样,这样就共享上外网了

      $>ping www.qq.com  //进行外网联通测试

  配置yum源

    (1)备份

      cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

    (2)下载

      下载新的 http://mirrors.aliyun.com/repo/Centos-7.repo,并命名为CentOS-Base.repo

    (3)清除缓存

      yum clean all # 清除系统所有的yum缓存

      yum makecache # 生成yum缓存

  4、安装vim便于快速编辑文本

    $>rpm -qa|grep vim //查找是否安装了vim

    $>yum -y install vim*  //安装vim,需要连接外网

  5、修改主机名

    $>vim /etc/hostname

    master

  6、修改hosts文件

    $>vim /etc/hosts

    10.10.0.100 master

    10.10.0.101 slave1

    10.10.0.102 slave2

三、安装辅助工具

  1、安装文件上传、下载工具

    说明:宿主机和虚拟机之间传递文件

    rz、sz命令

    安装:yum install -y lrzsz

    rz是上传命令,linux中执行后,可打开文件对话框,选择宿主机中的文件上传到虚拟机。

    sz是下载文件,sz  <文件名>就可以将linux虚拟机中的文件发送到宿主机。

  2、安装SSH工具

    xshell(远程登录虚拟机更方便操作)

四、安装jdk

  1、安装

    下载jdk,并通过rz传入master虚拟机,解压即可。

    (1)事先创建目录,命令:mkdir -p /home/hadoop/download ,说明:download专门放下载的安装包(jdk、hadoop、hbase等),安装于hadoop目录下。

    (2)解压:tar -zxvf  /home/hadoop/download/jdk-8u181-linux-x64.tar.gz  -C  /home/hadoop/

  2、配置

    $>vim  /etc/profile(编辑配置文件)     

      添加:

      export JAVA_HOME=/home/hadoop/jdk1.8.0_181
      export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
      export PATH=$PATH:$JAVA_HOME/bin

    $>source  /etc/profile  //编译生效

五、安装hadoop

  1、安装

    解压命令:tar -zxvf  /home/hadoop/download/hadoop-2.7.3.tar.gz -C  /home/hadoop/

  2、配置

    (1)配置环境变量

      $>vim /etc/profile

        export JAVA_HOME=/home/hadoop/jdk1.8.0_181
        export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
        export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
        export PATH=.:$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP/sbin

      $>source /etc/profile

    (2)编辑slaves文件

      进入hadoop配置文件所在目录:cd  /home/hadoop/hadoop-2.7.3/etc/hadoop/

      $>vim slaves

        slave1

        slave2

      说明:将datanode的主机名写入该文件,删除原来的localhost,让master仅作为namenode用

    (3)编辑core-site.xml文件

      vim core-site.xml  

 1 <configuration>
 2     <property>
 3         <name>fs.defaultFS</name>
 4         <value>hdfs://master:9000</value>
 5     </property>
 6 
 7     <property>
 8         <name>hadoop.tmp.dir</name>
 9 <!-- 该临时目录主要存放secondaryNameNode的一些数据,如:fsimage、edit这样数据是为了恢复NameNode节点而准备的 -->
10         <value>/home/hadoop/hadoop-2.7.3/tmp</value>
11     </property>
12 </configuration>        
View Code

相关文章: