HADOOP集群的搭建

1.HADOOP单机版的安装 我这用的是centos，java环境是必备
hadoop的单机版的安装
a.解压安装包到指定目录
先找到hadoop的解压包
HADOOP集群的搭建
再给他解压到/usr/local

在 cd /usr/local中出现hadoop-2.7.1,这里放着hadoop的参数

b.为hadoop配置环境变量，在根目录下 /etc/profile下编辑环境变量
临时生效，source /etc/profile

c.配置hadoop的安装目录下的/etc/hadoop/hadoop-env.sh(配置java环境)
HADOOP集群的搭建
d 测试
which hadoop
hadoop version
2.HADOOP集群的配置

先克隆两台机器，在vm上点击克隆按钮，分别为hadoop02,hadoop03 两台虚拟机
克隆之后需要以下配置：

修改网卡信息
在hadoop02,03进入到下面的形式，看那个name=
HADOOP集群的搭建
修改主机名：根据i名称而定

修改IP信息，UUID要不一样，可以在前面的数字改一下，还有HWADDR在机上查看

克隆之后有可能出现的问题

配置五个文件：
a. vi ./etc/hadoop/hadoop-env.sh

HADOOP集群的搭建
b.vi /etc/hadoop/core-site.xml

c.vi ./etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.dir</name>
<value>/home/hadoop/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.dir</name>
<value>/home/hadoop/hadoopdata/dfs/data</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
<name>dfs.http.address</name>
<value>hadoop01:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop01:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

d.vi ./etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>
</property>
</configuration>

e:vi ./etc/hadoop/yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8031</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop01:8033</value>
</property>

<property>
<name>yarn.resoucemanager.webapp.address</name>
<value>hadoop01:8088</value>
</property>
</configuration>

f:配置slave
HADOOP集群的搭建
g:远程分发
1.把之前的hadoop 02，hadoop03 配置删除带掉

然后在hadoop01上用下列语句
scp -r …/hadoop-2.7.1/ hadoop02:/usr/local/
scp -r …/hadoop-2.7.1/ hadoop03:/usr/local/

HADOOP集群的搭建 SSH免密登陆

测试
ssh hadoop01 不会要密码
之后在hadoop02,03都这样密码

远程分发后，再格式化
HADOOP集群的搭建
成功格式化

启动方式

正常出现的界面输入：192.168.40.23:50070

这样HADOOP集群就搭建成功了，注意看LIVE node
注意：hadoop02,hadoop03里的配置都是这个