在开始之前请先确保你已经进行了CentOS的网络配置,详情请见CentOS搭建

一、安装java环境

在开始安装hadoop之前,要先确保机器已经安装了java环境,因为hadoop的运行依赖于java。
Java安装链接

二、配置ssh本机免密登陆

首先输入命令ssh-****** -t rsa回车四下,来获取密匙
最全面的CentOS下hadoop的伪分布式安装
然后使用ssh-copy-id 用户名@本机主机名 or 本机IP地址来分发密匙
最全面的CentOS下hadoop的伪分布式安装

三、进行hadoop伪分布式安装

1、下载hadoop
链接: https://pan.baidu.com/s/1uXEE6rmBVUkXeTy0ipVkfg 密码: 34ao
2、解压到相关目录
使用tar -zxvf hadoop安装包 -C 指定安装目录将hadoop安装包进行解压。
3、配置相关文件
(1)hdfs相关配置文件:hadoop-env.sh、core-site.xml、hdfs-site.xml
a、hadoop-env.sh:配置java路径
最全面的CentOS下hadoop的伪分布式安装
b、core-site.xml
最全面的CentOS下hadoop的伪分布式安装
c、hdfs-site.xml
最全面的CentOS下hadoop的伪分布式安装
(2)yarn相关配置文件:yarn-env.sh、yarn-site.xml
a、yarn-env.sh:配置java路径
最全面的CentOS下hadoop的伪分布式安装
b、yarn-site.xml
最全面的CentOS下hadoop的伪分布式安装
(3)mapreduce相关配置文件:mapred-env.sh、mapred-queues.xml.template
a、mapred-env.sh:配置java路径
最全面的CentOS下hadoop的伪分布式安装
b、mapred-queues.xml.template:配置之前要对该文件进行重命名mapred-queues.xml
最全面的CentOS下hadoop的伪分布式安装

四、运行hadoop

1、启动hdfs模块
(1)格式化hdfs
回到hadoop安装目录,使用bin/hdfs namenode -format命令对hdfs进行格式化。
最全面的CentOS下hadoop的伪分布式安装
(2)启动namenode
最全面的CentOS下hadoop的伪分布式安装
(3)启动datanode
最全面的CentOS下hadoop的伪分布式安装

hadoop有三种启动方法。以上启动的方法为逐个启动,也可以使用sbin/start-dfs.sh直接启动hdfs模块,此方法叫分模块启动。前提是必须进行第二步配置ssh免密登陆

至此,hdfs模块已经完全启动,可以在浏览器输入ip地址 or 主机名:50070访问hdfs界面
最全面的CentOS下hadoop的伪分布式安装

2、启动yarn模块
(1)启动resourcemanager
最全面的CentOS下hadoop的伪分布式安装
(1)启动nodemanager
最全面的CentOS下hadoop的伪分布式安装

与上面说的一样,以上启动的方法为逐个启动,也可以使用sbin/start-yarn.sh直接启动yarn模块
除此之外,第三种启动方法为,sbin/start-all.sh直接一次性启动所有模块,前提同样是必须进行第二步配置ssh免密登陆

至此,yarn模块已经完全启动。可以在浏览器输入ip地址 or 主机名:8088访问yarn界面
最全面的CentOS下hadoop的伪分布式安装
至此,hadoop的伪分布式安装已经完全搭建完成!

相关文章:

  • 2021-07-28
  • 2021-08-08
  • 2022-12-23
  • 2021-08-23
  • 2021-11-27
  • 2022-01-01
  • 2022-01-01
  • 2022-01-01
猜你喜欢
  • 2021-05-10
  • 2022-01-11
  • 2021-09-02
  • 2022-12-23
  • 2021-07-07
  • 2021-10-13
  • 2022-12-23
相关资源
相似解决方案