Cloudera’s Distribution Including Apache Hadoop,简称“CDH”,基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Spark、 Hbase、Zookeeper、Sqoop等,简化了大数据平台的安装、使用难度。本文档将演示CDH6.0.1的部署,该版本是目前最新版本,该版本Hadoop生态组件版本可以查看manifest.json文件,相关文件下载地址如下:
- https://archive.cloudera.com/cdh6/6.0.1/parcels/
- https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
- 实施环境说明
- 基础环境配置
- 搭建本地yum源
- 安装Mariadb数据库
- 安装Cloudera-manager-server
- 安装配置Cloudera-manager-client
- Web UI指南操作部署集群
实施环境说明
| 主机名 | IP | 配置 | 操作系统 | 角色 |
| c1.heboan.com | 9.110.187.120 | 2核/8G | CentOS Linux release 7.2.1511 | cm-server、cm-agent、mariadb5.5 |
| c2.heboan.com | 9.110.187.121 | 2核/8G | CentOS Linux release 7.2.1511 | cm-agent |
| c3.heboan.com | 9.110.187.122 | 2核/8G | CentOS Linux release 7.2.1511 | cm-agent |
环境说明:
该环境配置非生产环境配置,是本人虚拟机的配置,一般企业大数据平台资源配置可如下参考:
测试集群环境:
机器数量: 5-10台
机器配置: 硬盘(4TB)、内存(24G-32G)、CPU(6核)、网卡(万兆)
生产集群环境:
小型集群: 20台以下
中型集群: 50台以下
大型集群: 50台以上
准备软件包放到/root/toos/目录下:
基础环境配置(所有机器进行的操作)
设置主机名
绑定主机名与ip的关系
# vim /etc/hosts ... 9.110.187.120 c1.heboan.com 9.110.187.121 c2.heboan.com 9.110.187.122 c3.heboan.com