Cloudera’s Distribution Including Apache Hadoop,简称“CDH”,基于Web的用户界面,支持大多数Hadoop组件,包括HDFSMapReduceHiveSparkHbaseZookeeperSqoop等,简化了大数据平台的安装、使用难度。本文档将演示CDH6.0.1的部署,该版本是目前最新版本,该版本Hadoop生态组件版本可以查看manifest.json文件,相关文件下载地址如下:

  • https://archive.cloudera.com/cdh6/6.0.1/parcels/
  • https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/

 

  • 实施环境说明
  • 基础环境配置
  • 搭建本地yum源
  • 安装Mariadb数据库
  • 安装Cloudera-manager-server
  • 安装配置Cloudera-manager-client
  • Web UI指南操作部署集群

 CentOS7部署CDH6.0.1大数据平台

实施环境说明

主机名 IP 配置 操作系统 角色
c1.heboan.com 9.110.187.120 2核/8G CentOS Linux release 7.2.1511 cm-server、cm-agent、mariadb5.5
c2.heboan.com 9.110.187.121 2核/8G CentOS Linux release 7.2.1511 cm-agent
c3.heboan.com 9.110.187.122 2核/8G CentOS Linux release 7.2.1511 cm-agent

环境说明:

  该环境配置非生产环境配置,是本人虚拟机的配置,一般企业大数据平台资源配置可如下参考:

  测试集群环境:

    机器数量: 5-10台

    机器配置: 硬盘(4TB)、内存(24G-32G)、CPU(6核)、网卡(万兆)

  生产集群环境:

    小型集群: 20台以下

    中型集群: 50台以下

    大型集群: 50台以上

 准备软件包放到/root/toos/目录下:

CentOS7部署CDH6.0.1大数据平台

基础环境配置(所有机器进行的操作)

设置主机名

绑定主机名与ip的关系

# vim /etc/hosts
...
9.110.187.120 c1.heboan.com
9.110.187.121 c2.heboan.com
9.110.187.122 c3.heboan.com
/etc/hosts

相关文章:

  • 2021-11-12
  • 2022-12-23
  • 2021-09-26
  • 2022-01-17
  • 2021-04-20
  • 2022-01-04
  • 2022-02-12
猜你喜欢
  • 2021-09-26
  • 2021-12-05
  • 2021-09-24
  • 2022-12-23
  • 2022-02-16
  • 2021-08-09
  • 2021-09-02
相关资源
相似解决方案