安装Hadoop:
2.1 配置虚拟机网络:静态ip地址、hostname、hosts (已更新)
2.2 ssh无密码登录各节点 (跟centos8操作一致)
2.3 安装java环境 (已更新)
2.4 hadoop3.2.1集群配置
2.4.1 配置文件
配置文件在这个文件夹里:
具体的配置信息按照需求来写,参考hadoop官网中的Configuration
core-site.xml:核心配置文件
hdfs-site.xml:HDFS文件系统属性配置
mapred-site.xml:
yarn-site.xml:配置YARN的相关参数
workers:添加从节点主机名
hadoop-env.sh:添加一行JAVA_HOME
2.4.2 将配置文件分发到各从节点
2.4.3 格式化namenode
第一次启动前格式化namenode:hdfs namenode -format
2.4.4 关闭防火墙
启动hadoop前,要关闭防火墙
2.4.5 启动
start-dfs.sh
start-yarn.sh
启动后,jps可以查看已经启动的程序
主节点:
从节点: