概述
Ambari:基于Web的工具,支持Apache Hadoop集群的创建 、管理和监控。可以从apache官网下载源码,自己定义开发自己需要的样式。这里先设下一个伏笔,有兴趣的可以跟着我的博客。后面会有apache-ambari二次开发。
HDP:包含了hadoop生态系统的所有软件项目,比如HBase,Zookeeper,Hive,Pig等等。
HDP-UTILS:工具类库。
HDP-GPL:LZO压缩库软件包存储在单独的HDP-GPL存储库中。
Ambari的最新版本为2.7.5,HDP的最新版本为3.1.5,通过 https://supportmatrix.hortonworks.com/ 可以查询Ambari和HDP各个版本支持情况。本来想安装最新版,但因为从2.7.5之后,访问Ambari存储库需要身份验证。具体官网截图如下,(浏览器以翻译为中文):
废话不多说,开始搞起。
环境
系统:CentOS Linux release 7.6.1810 (Core)
内存:16G
cpu:1C
磁盘:100G
安装介质:[ ambari-2.7.4.0-centos7.tar.gz | HDP-3.1.4.0-centos7-rpm.tar.gz | HDP-GPL-3.1.4.0-centos7-gpl.tar.gz | HDP-UTILS-1.1.0.22-centos7.tar.gz ]
设置主机名:
方法:之前博客 《TDH(Transwarp Data Hub)社区版安装教程》中 设置主机名
设置root用户登录:
方法:之前博客 《TDH(Transwarp Data Hub)社区版安装教程》中 设置root用户登录
设置集群免密:
方法:之前博客 《TDH(Transwarp Data Hub)社区版安装教程》中 设置集群免密
设置selinux,集群时间同步,防火墙:
方法:之前博客 《TDH(Transwarp Data Hub)社区版安装教程》中 设置selinux,集群时间同步,防火墙
补充:时间同步,这里配置的集群间,所有节点以主节点时间为准,都同步主节点时间
步骤:
注意事项:要注意的是,ntpd 有一个自我保护设置: 如果本机与上源时间相差太大, ntpd 不运行. 所以新设置的时间服务器一定要先 ntpdate 从上源取得时间初值, 然后启动 ntpd服务。ntpd服务 运行后, 先是每64秒与上源服务器同步一次, 根据每次同步时测得的误差值经复杂计算逐步调整自己的时间, 随着误差减小, 逐步增加同步的间隔.每次跳动, 都会重复这个调整的过程。
主节点配置
修改两处:
restrict 10.32.8.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
修改后具体参数:
[root@nn1 ~]# cat /etc/ntp.conf | grep -v ^# | grep -v ^$ driftfile /var/lib/ntp/drift restrict default nomodify notrap nopeer noquery restrict 127.0.0.1 restrict ::1 restrict 10.32.8.0 mask 255.255.255.0 nomodify notrap server 127.127.1.0 # local clock fudge 127.127.1.0 stratum 10 includefile /etc/ntp/crypto/pw keys /etc/ntp/keys disable monitor