Hadoop三种模式安装(Linux)

一、单机模式

安装jdk下载地址
rz 上传
tar -zxvf 文件名 解压文件*[记得删除安装包]*
配置环境 vi /etc/profile
#JAVA_HOME
export JAVA_HOME=jdk路径
export PATH=${PATH}:$PATH:{JAVA_HOME}/bin

或
JAVA_HOME=jdk路径
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVAH​OME/lib/dt.jar:JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$JAVAH​OME/bin:PATH
export JAVA_HOME CLASSPATH PATH

加载配置 source /etc/profile
测试 java -version

安装hadoop下载地址
配置环境 vi /etc/profile
#HADOOP_HOME
export HADOOP_HOME=hadoop路径
export PATH=${PATH}:$PATH:{HADOOP_HOME}/bin

加载配置 source /etc/profile
修改文件 vi hadoop路径/etc/hadoop/hadoop-env.sh
export JAVA_HOME=jdk路径

测试 hadoop version

二、伪分布式

配置环境 cd hadoop路径/etc/hadoop/
vi core-site.xml
#master那填写localhost或ip地址或虚拟机名称

vi hdfs-site.xml

格式化namenode hdfs namenode -format
启动namenode cd hadoop路径
./sbin/start-dfs.sh

测试 jps
(或cd hadoop路径/sbin
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode)

三、完全分布式

搭建一个hadoop分布式集群，需要规划项目：主机规划、软件规划、用户规划、目录规划
准备工作：时钟同步、hosts文件检查、禁用防火墙、配置SSH免密通讯

	master	slave01	slave02
HDFS	NameNode，DataNode	SecondaryNameNode，DataNode	DataNode
YARN	NodeManager	ResourceManager，NodeManager	NodeManager

环境 将单机模式中的环境搭建好并且克隆多台虚拟机设备
编辑克隆虚拟机文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=ip地址[eg.192.168.133.X+1]

cd /etc/udev/rules.d/ 进入文件夹
ll 查看当前目录文件
rm -rf 70-persistent-net.rules 删除文件

vi /etc/sysconfig/network
HOSTNAME=主机名

init 6 重启
编辑全部虚拟机文件 vi /etc/hosts
ip 主机名
克隆ip 克隆主机名

测试 ping ip或主机名(全部)
时间同步(全部虚拟机) cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
yum install ntp
ntpdate pool.ntp.org
ssh免密码登录(全部) ssh-****** -t rsa -P ‘’
cd .ssh
ll
cat id_rsa.pub >> authorized_keys
测试本机无密码访问 ssh ip或主机名

(克隆机上)cat ~/.ssh/id_rsa.pub | ssh 用户@主机名 ‘cat >> ~/.ssh/authorized_keys’
[eg.cat ~/.ssh/id_rsa.pub | ssh root@master ‘cat >> ~/.ssh/authorized_keys’]
(master上)scp -r authorized_keys 用户@克隆主机名:~/.ssh/
[eg.scp -r authorized_keys root@slave:~/.ssh/]
测试各节点间无密码访问 ssh ip

配置环境 cd hadoop路径/etc/hadoop/
vi core-site.xml
#master那填写NameNode主机名或ip地址

vi hdfs-site.xml
#slave01那填写SecondaryNameNode主机名或ip地址

vi yarn-site.xml
#slave01那填写ResourceManager主机名或ip地址

vi mapred-site.xml

(若只有mapred-site.xml.template，在这个文件上配置好后用命令cp mapred-site.xml.template mapred-site.xml)

修改下列文件
hadoop-env.sh
yarn-env.sh
mapred-env.sh

将DataNode虚拟机名写到文件slaves

删除hadoop文件(克隆) rm -rf /root/app/hadoop-2.10.0/etc/hadoop
拷贝到其他服务器 scp -r [eg.scp -r /root/app/hadoop-2.10.0/etc/hadoop root@slave01:/root/app/hadoop-2.10.0/etc]

格式化namenode(NN) hdfs namenode -format
启动集群 在NameNode虚拟机上cd hadoop路径/sbin
./start-dfs.sh
在ResourceManager虚拟机上cd hadoop路径/sbin
./start-yarn.sh

测试
jps

Web查看：
http://NN虚拟机ip:50070/
http://ResourceManager虚拟机ip:8088/

参考文章：https://blog.csdn.net/baidu_28997655/article/details/81586418