从VMware到Hadoop集群

学了这么久的大数据，感觉也没学到点什么。学到了还容易忘掉。今天就先写（复制）一篇Hadoop搭建的过程。

VMware建立centOS

目录

1.2  检查vmware的网络服务状态

1.3  创建虚拟机

1.4  为虚拟机安装centos7

1.5  克隆虚拟机

2.  安装hadoop集群

2.1.  克隆机器的网络配置

2.2.  配置linux服务器的远程SSH客户端工具

2.3.  准备hadoop安装的软件环境

Linux系统上的域名映射配置

防火墙关闭

Ssh免密登录配置

Jdk的安装

2.4.  安装hadoop集群

上传hadoop安装包到ahu01上

解压

修改hadoop配置文件

将配置好的hadoop安装目录同步给ahu02/03

2.4.  配置HADOOP_HOME和PATH环境变量

2.4.  初始化hadoop集群并启动

在ahu01上，初始化namenode的元数据存储目录

启动HDFS集群：

启动YARN集群：

完整的centOS 搭建过程：

配置虚拟机网络：

子网ip：  192.168.77.0

虚拟网关配置：

修改windows的虚拟网卡vmnet8配置：

1.2  检查vmware的网络服务状态

Win + r 键，输入 services.msc

 

确保vmware的 nat服务在运行状态

 

1.3  创建虚拟机

1.4  为虚拟机安装centos7

然后开启虚拟机，并选择安装菜单

1.5  克隆虚拟机

链接克隆的特点就是内存占用的比较少

-------------------------------------------------------------这是一条可爱的正文分割线------------------------------------------------------------------------

好了，现在第一台centOS虚拟机已经搭建好了。下面进入内容

HADOOP的搭建过程：

2.  安装hadoop集群

2.1.  克隆机器的网络配置

对两台克隆出来的机器，进行如下ip地址和主机名的修改配置

删除选中行（dd）

修改ip地址

修改主机名

2.2.  配置linux服务器的远程SSH客户端工具

Ssh客户端有很多，常用的有  xshell，putty，secureCRT

这里我不用老师给的，没有Xshell 看着直观。这里用xshell，

配置虚拟机与Windows连接问题：此处略；

2.3.  准备hadoop安装的软件环境

Linux系统上的域名映射配置

vi /etc/hosts

配好后，测试：

ping   ahu01

同步ah01的域名映射配置给ah02,03

[root@ahu01 ~]# scp /etc/hosts ahu02:/etc/

[root@ahu01 ~]# scp /etc/hosts ahu03:/etc/

防火墙关闭

## 关闭防火墙服务

[root@ahu01 ~]# systemctl stop firewalld.service

## 禁用防火墙自启

[root@ahu01 ~]# systemctl disable firewalld.service

Ssh免密登录配置

在ahu01上：

[root@ahu01 ~]# ssh-******

然后，将生成好的秘钥，注册到集群中的所有节点上

[root@ahu01 ~]# ssh-copy-id ahu01

[root@ahu01 ~]# ssh-copy-id ahu02

[root@ahu01 ~]# ssh-copy-id ahu03

做完后，测试一下： 

[root@ahu01 ~]# ssh ahu03

如果直接登录成功，没有让输入密码，则免密登录配置完好

Jdk的安装

上传一个安装包到linux服务器上

创建一个文件夹/apps/是存放解压后的软件的文件夹。

/soft/是安装包以及压缩文件。

mkdir  /opt/apps/

mkdir /opt/soft/

实际上用Xshell直接右键创建即可。

解压jdk的安装包

[root@ahu01 ~]# ll total 187264 -rw-------. 1 root root      1319 Jul 19 14:34 anaconda-ks.cfg -rw-r--r--. 1 root root 191753373 Jan 12  2019 jdk-8u191-linux-x64.tar.gz [root@ahu01 ~]# mkdir /opt/apps [root@ahu01 ~]# tar -zxf jdk-8u191-linux-x64.tar.gz -C /opt/apps/

配置jdk的环境变量  JAVA_HOME  /   PATH

[root@ahu01 ~]# vi /etc/profile

跳到文件末尾（shift  +  g），添加如下内容：

export JAVA_HOME=/opt/apps/jdk1.8.0_191/

 

export PATH=$PATH:$JAVA_HOME/bin

然后加载配置并生效：

source  /etc/profile

测试jdk的安装和环境变量配置是否成功：

[root@ahu01 ~]# java -version

显示如下表示Java安装成功：

java version "1.8.0_191"

Java(TM) SE Runtime Environment (build 1.8.0_191-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

同步/etc/profile 环境变量配置给ahu02/03

[root@ahu01 ~]# scp /etc/profile ahu02:/etc/

[root@ahu01 ~]# scp /etc/profile ahu03:/etc/

同步jdk安装目录给ahu02/03

[root@ahu01 ~]# cd /opt/apps/

[root@ahu01 opt]# scp -r apps/ ahu02:$PWD

[root@ahu01 opt]# scp -r apps/ ahu03:$PWD

到ahu02/03上执行：

[root@ahu02 ~]# source /etc/profile

[root@ahu03 ~]# source /etc/profile

2.4.  安装hadoop集群

上传hadoop安装包到ahu01上

解压

[root@ahu01 ~]# cd

[root@ahu01 ~]# tar -zxf hadoop-2.8.5.tar.gz -C /opt/apps/

解压后，可以删掉安装目录中的doc文件夹

[root@ahu01 share]# cd /opt/apps/hadoop-2.8.5/share

[root@ahu01 share]# rm -rf doc

修改hadoop配置文件

Hadoop的配置文件在安装目录下的： etc/hadoop/

.1.core-site.xml

<configuration>   <property> <name>fs.defaultFS</name> <value>hdfs://ahu01:9000</value> </property>     </configuration>

.2.hdfs-site.xml

<property> <name>dfs.permissions.enabled</name> <value>false</value> </property>   <property> <name>dfs.replication</name> <value>2</value> </property>     <property> <name>dfs.datanode.data.dir</name> <value>/opt/hdpdata/data/</value> </property>     <property> <name>dfs.namenode.name.dir</name> <value>/opt/hdpdata/name/</value> </property>     <property> <name>dfs.namenode.checkpoint.dir</name> <value>/opt/hdpdata/secondayname/</value> </property>     <property> <name>dfs.namenode.rpc-address</name> <value>ahu01:9000</value> </property>     <property>   <name>dfs.namenode.secondary.http-address</name>   <value>ahu02:50090</value> </property>

.3.mapred-site.xml

[root@ahu01 hadoop]# mv mapred-site.xml.template mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

.4.yarn-site.xml

<configuration>   <property> <name>yarn.resourcemanager.hostname</name> <value>ahu01</value> </property>   <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>   </configuration>

.5.slaves

ahu01

ahu02

ahu03

.6.在hadoop-env.sh里

vi  hadoop-env.sh

修改如下行：

export JAVA_HOME=/opt/apps/jdk1.8.0_191/

将配置好的hadoop安装目录同步给ahu02/03

[root@ahu01 apps]# cd /opt/apps/

[root@ahu01 apps]# scp   -r   hadoop-2.8.5/ ahu02:$PWD

[root@ahu01 apps]# scp   -r   hadoop-2.8.5/ ahu03:$PWD

2.4.  配置HADOOP_HOME和PATH环境变量

vi  /etc/profile

export JAVA_HOME=/opt/apps/jdk1.8.0_191/

export HADOOP_HOME=/opt/apps/hadoop-2.8.5

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配完后，加载参数：
source  /etc/profile

并同步配置

[root@ahu01 hadoop-2.8.5]# scp /etc/profile ahu02:/etc/

[root@ahu01 hadoop-2.8.5]# scp /etc/profile ahu03:/etc/

2.4.  初始化hadoop集群并启动

在ahu01上，初始化namenode的元数据存储目录

[root@ahu01 ~]# hadoop namenode -format

启动HDFS集群：

[root@ahu01 ~]# start-dfs.sh

启动完后，使用浏览器访问namenode的50070这个web端口

http://192.168.77.51:50070/

启动YARN集群：

[root@ahu01 ~]# start-yarn.sh

启动完后，使用浏览器访问resourcemanager的8088这个web端口

http://ahu01:8088/

停止集群

stop-dfs.sh

stop-yarn.sh

此时Hadoop就已经搭建好了，接下来需要搭建MySQL和hive