在开始之前请先确保你已经进行了CentOS的网络配置,详情请见CentOS搭建!
一、安装java环境
在开始安装hadoop之前,要先确保机器已经安装了java环境,因为hadoop的运行依赖于java。
Java安装链接
二、配置ssh本机免密登陆
首先输入命令ssh-****** -t rsa回车四下,来获取密匙
然后使用ssh-copy-id 用户名@本机主机名 or 本机IP地址来分发密匙
三、进行hadoop伪分布式安装
1、下载hadoop
链接: https://pan.baidu.com/s/1uXEE6rmBVUkXeTy0ipVkfg 密码: 34ao
2、解压到相关目录
使用tar -zxvf hadoop安装包 -C 指定安装目录将hadoop安装包进行解压。
3、配置相关文件
(1)hdfs相关配置文件:hadoop-env.sh、core-site.xml、hdfs-site.xml
a、hadoop-env.sh:配置java路径
b、core-site.xml
c、hdfs-site.xml
(2)yarn相关配置文件:yarn-env.sh、yarn-site.xml
a、yarn-env.sh:配置java路径
b、yarn-site.xml
(3)mapreduce相关配置文件:mapred-env.sh、mapred-queues.xml.template
a、mapred-env.sh:配置java路径
b、mapred-queues.xml.template:配置之前要对该文件进行重命名mapred-queues.xml
四、运行hadoop
1、启动hdfs模块
(1)格式化hdfs
回到hadoop安装目录,使用bin/hdfs namenode -format命令对hdfs进行格式化。
(2)启动namenode
(3)启动datanode
hadoop有三种启动方法。以上启动的方法为逐个启动,也可以使用
sbin/start-dfs.sh直接启动hdfs模块,此方法叫分模块启动。前提是必须进行第二步配置ssh免密登陆
至此,hdfs模块已经完全启动,可以在浏览器输入ip地址 or 主机名:50070访问hdfs界面
2、启动yarn模块
(1)启动resourcemanager
(1)启动nodemanager
与上面说的一样,以上启动的方法为逐个启动,也可以使用
sbin/start-yarn.sh直接启动yarn模块
除此之外,第三种启动方法为,sbin/start-all.sh直接一次性启动所有模块,前提同样是必须进行第二步配置ssh免密登陆
至此,yarn模块已经完全启动。可以在浏览器输入ip地址 or 主机名:8088访问yarn界面
至此,hadoop的伪分布式安装已经完全搭建完成!