集群规划，在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境，我们就在这个基础之上搭建HA
QJM的集群实现方式
一
操作系统的基本配置
（可以参考hadoop2.6.0三个节点集群环境搭建（一））
二
Hadoop的安装
（可以参考hadoop2.6.0三个节点集群环境搭建（一））
三
hdfs-site.xml配置（HA）
(1) HDFS命名服务的逻辑名称
(2) NameNode列表
(3) 每个NameNode的RPC地址
(4) 每个NameNode的HTTP地址
(5) Journalnode的URI地址
(6) 设置客户端与active namenode进行交互的java实现类
(7) 隔离机制（fencing）：sshfence OR shell --sshfence要确保主机之间建立了信任关系
四 Core-site.xml配置（HA）
（1）缺省的目录前缀
（2）Journalnode所在节点上的一个目录
五 HDFS HA服务启动
（1）启动journalnode
（2）初始化journalnode
（3）启动namenode1，先格式化再启动（如果是已有的集群则不用格式化）
（4）启动namenode2，让nn2从nn1上拉取最新的fsimage
（5）启动datanode
（6）将namenode1状态切换为active
实施步骤：
如果是新环境可以参考hadoop2.6.0三个节点集群环境搭建（一）将软件部署上即可
假设你已经将hadoop 2.6.0部署到了master节点
1）
On master
[ha[email protected] ~]$ cd/opt/hadoop/etc/hadoop/
[[email protected] hadoop]$ vi hadoop-env.sh <===java环境变量
export JAVA_HOME=/usr/java/default
2）
On master
[[email protected] hadoop]$ vi slaves
slave1
slave2
On master
[[email protected] hadoop]$ vi hdfs-site.xml
4）
On master
[[email protected] hadoop]$ vi core-site.xml
fs.defaultFS hdfs://ns1 hadoop.tmp.dir /opt/hadoop/tmp dfs.journalnode.edits.dir <===（2）Journalnode所在节点上的一个目录 /opt/hadoop/journalnode/data5）
On slave1、slave2、hadoop04
[[email protected] hadoop]$ mkdir -p /opt/hadoop/journalnode/data
[[email protected] hadoop]$ mkdir -p /opt/hadoop/journalnode/data
[[email protected] hadoop]$ mkdir -p /opt/hadoop/journalnode/data
6）
On master
[[email protected] hadoop]$ scp -r hdfs-site.xml hadoop04:/opt/hadoop/etc/hadoop
[[email protected] hadoop]$ scp -r hdfs-site.xml slave1:/opt/hadoop/etc/hadoop
[[email protected] hadoop]$ scp -r hdfs-site.xml slave2:/opt/hadoop/etc/hadoop
[[email protected] hadoop]$ scp -r core-site.xml hadoop04:/opt/hadoop/etc/hadoop
[[email protected] hadoop]$ scp -r core-site.xml slave1:/opt/hadoop/etc/hadoop
[[email protected] hadoop]$ scp -r core-site.xml slave2:/opt/hadoop/etc/hadoop
注意：如果是新搭建系统则将hadoop的软件家目录整个考过去即可
[[email protected] opt]$ scp -r hadoop-2.6.0 hadoop04:/opt
[[email protected] opt]$ scp -r hadoop-2.6.0 slave1:/opt
[[email protected] opt]$ scp -r hadoop-2.6.0 slave2:/opt
7）
启动journalnode <===（1）启动journalnode
On hadoop04
[[email protected] ~]$ hadoop-daemon.sh start journalnode
也可以在master节点执行
hadoop-daemons.sh --hostnames ‘slave1 slave2’ start journalnode
8）
On master <===（2）初始化journalnode
[[email protected] ~]$ hdfs namenode -initializeSharedEdits
注意：如果是新环境则需要先执行namenode的格式化，再去执行journalnode的初始化
[[email protected] ~]$ hdfs namenode -format -clusterid hd260
9）
On master 《===（3）启动namenode1
[[email protected] opt]$ hadoop-daemon.sh start namenode
10）
从master节点拉取fsimage信息
On hadoop04 《====（4）让nn2从nn1上拉取最新的fsimage
[[email protected] name]$ hdfs namenode –bootstrapStandby
On hadoop04 《===（5）启动namenode2
[[email protected] name]$ hadoop-daemon.sh start namenode
启动datanode
On master
[[email protected] opt]$ hadoop-daemons.sh start datanode
14）
on hadoop04
On master
[[email protected] hadoop]$ hdfs haadmin-failover --forcefence --forceactive nn2 nn1
17）
on hadoop04
切换测试的一些命令可以自行测试
首先将nn2启动
[[email protected] data]$ hadoop-daemon.sh start namenode 《===此时，nn1是active，nn2是standby
然后从nn1切换到nn2
[[email protected] hadoop]$ hdfs haadmin -failover --forcefence --forceactive nn1 nn2
[[email protected] name]$ hdfs haadmin -transitionToStandby nn1
[[email protected] opt]$ hdfs haadmin -transitionToActive nn1
以上实验都是HDFS HA服务启动及手工切换，下一节将配置 基于ZK自动切换模式的实现
作者：forever19870418
来源：CSDN
原文：https://blog.csdn.net/forever19870418/article/details/64126621
版权声明：本文为博主原创文章，转载请附上博文链接！