CDH6.2.0安装(一)

大数据搭建

大数据集群搭建方式选择

逐个安装大数据组件:

  • 优点:灵活,深入各组件安装细节
  • 缺点:繁琐,无统一监控、管理工具

使用CDH,Ambari管理工具安装:

  • 优点:一站式安装大部分组件,提供监控、管理功能
  • 缺点:需要更多的资源,安装过程有一定复杂性

建议:机器资源足够则使用CDH方式,否则使用逐个安装方式

什么是CDH?

全称:Cloudera’s Distribution Including Apache Hadoop,Cloudera 公司的Hadoop版本,包含大数据组件和监控管理工具(Cloudera Manager)两部分

Cloudera Manger 架构

CDH6.2.0安装(一)

CDH6.2.0安装(一)

CDH 6.2.0 组件版本

Component Component Version
Apache Hadoop 3.0.0
Apache HBase 2.1.2
Apache Hive 2.1.1
Hue 4.3.0
Apache Impala 3.2.0
Apache Kafka 2.1.0
Apache Spark 2.4.0
Apache Sqoop 1.4.7
Apache ZooKeeper 3.4.5

完成参考

演示集群系统软件版本

  • 操作系统:centos 7 64位
  • CDH:6.2.0
  • JDK:1.8

机器资源

  • 内存:主机在20G以上,可以搭建三台虚拟机,其中master内存在8G以上,slave内存在4G以上
  • 硬盘:每个虚机的硬盘空间100G+

集群结构

CDH6.2.0安装(一)

需下载的安装包

安装包 下载地址
centos镜像 http://vault.centos.org/6.8/isos/x86_64/
parcel:所有大数据组件,以二进制方式打包在一个文件中 https://archive.cloudera.com/cdh6/6.2.0/parcels/。注意下载的版本必须与操作系统版本一致,否则在安装的时候会重新下载对应的版本
Clouder Manager相关文件 https://archive.cloudera.com/cm6/6.2.0/

相关文章:

  • 2021-12-20
  • 2021-06-03
  • 2021-04-18
  • 2021-10-09
  • 2022-01-18
  • 2022-12-23
  • 2021-10-20
  • 2021-04-01
猜你喜欢
  • 2021-08-06
  • 2021-09-12
  • 2021-11-13
  • 2021-11-14
  • 2021-06-29
  • 2021-04-03
  • 2021-12-20
相关资源
相似解决方案