在上一篇伪分布式的基础上搭建完全分布式集群
一、配置环境
1. 每一台主机安装jdk
hadoop01已经安装过了,先把安装包,远程发送给hadoop02 hadoop03 hadoop04服务器
然后给每一台都安装
配置环境变量(第二步免秘钥配完更统一配置,通过分发更快)
2. 免秘钥
hadoop01作为namenode 其他三台作为datanode,他们需要拿到hadoop01的公钥(后面写一个hadoop01.pub是为了区分是谁发过来的公钥),这个操作之前在hadoop02-04分别运行一个命令:ssh localhost
然后做如下操作:(公钥存放在用户打算连接的所有机器的authorized_keys文件中)
这时候再用hadoop01登录hadoop02-04就不要输入密码了
检验完后记得退出,说明管理节点到其他节点免密成功。
把环境变量的文件远程传送给hadoop02-04:
配置完环境变量都重新加载一下
二、配置Hadoop
先把之前的伪分布式拷贝一份
然后直接配置hadoop这个文件
1. 配置核心配置文件(主要是配置namenode)
由于还是用hadoop01做namenode,所以只需要修改数据的存储路径即可
2. 配置hdfs-site.xml(主要是配置secondarynamenode)
3. 配置slaves(主要是配置datanode)
4. 配置hadoop环境(直接把hadoop01配置好的software目录全部远程传送到hadoop02 hadoop03 hadoop04即可)
之后重新加载
5. 格式化
6. 启动
可以看到都启动成功了。
访问浏览器
使用hadoop01创建一个目录:
上传一个文件
好了,以上就是完全分布式的全部步骤了