本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程,所以小编没用公司的服务器,而是在自己电脑上建了三台虚拟机(使用的是CentOS6.5),用作搭建Cloudera Manager环境。

目录

一、环境准备(在所有机器上操作)

二、集群时间服务器

三、MySQL的安装部署(在hadoop.cm01上安装即可)

四、Cloudera Manager的安装

五、为CM创建一个专用的普通用户 cloudera-scm(所有的服务器上!!)

六、配置CM访问数据库的权限,添加一个temp用户

七、配置CDH源

八、启动CM进程服务


一、环境准备(在所有机器上操作)

准备软件环境:

-》parcels库

下载地址:http://archive.cloudera.com/cdh5/parcels/5.12.0/

注意:parcel文件+校验码文件parcel.sha1

-》cloudera manager 安装包

下载地址: http://archive.cloudera.com/cm5/cm/5/

注意:对应的centos版本,注意centos7,centos6使用el6/el5都可以

查看系统空间的使用情况等

搭建Cloudera Manager环境

配置ip、主机名、主机映射等(重启生效!!)

搭建Cloudera Manager环境

禁用ipv6(重启生效!!)

# echo "alias net-pf-10 off"  >>  /etc/modprobe.d/dist.conf 
# echo "alias ipv6 off"  >>  /etc/modprobe.d/dist.conf

关闭防火墙并设置为开机不启动以及禁用selinux(重启生效!!)

# service iptables stop && chkconfig iptables off && chkconfig --list | grep iptables

# vi /etc/sysconfig/selinux

搭建Cloudera Manager环境

ssh免秘钥登录

# ssh-******

# ssh-copy-id 主机名01

# ssh-copy-id 主机名02

# ssh-copy-id 主机名03

安装JDK

搭建Cloudera Manager环境

修改用户可用的最大服务器资源限制(重启生效!!)

# ulimit  -a

#  vi /etc/security/limits.conf

*               soft    nofile          32728
*               hard    nofile          1024567
*               soft    nproc           65535
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited

搭建Cloudera Manager环境

二、集群时间服务器

选择一台服务器作为集群的时间服务器,这里我选择第一台,即:hadoop.cm01

在hadoop.cm01上修改配置文件

# vi /etc/ntp.conf

搭建Cloudera Manager环境

server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10

搭建Cloudera Manager环境

在所有机器上执行命令:

# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd

修改hadoop.cm01的系统时间,与网络时间同步:

# ntpdate -u  us.pool.ntp.org

在hadoop.cm01上修改本地硬件时钟时间:

# hwclock --localtime   //查看本地硬件时钟时间 

# hwclock --localtime -w    //将系统时间写入本地硬件时钟时间

在hadoop.cm01上将本地硬件时钟时间与系统时间进行自动同步:

# vi /etc/sysconfig/ntpdate   

SYNC_HWCLOCK=yes

搭建Cloudera Manager环境

# vi /etc/sysconfig/ntpd 
SYNC_HWCLOCK=yes

搭建Cloudera Manager环境
除了hadoop.cm01之外的服务器制定一个crontab定时任务,定时向本集群同步时间

搭建Cloudera Manager环境

搭建Cloudera Manager环境

重启生效:# service crond restart

 

三、MySQL的安装部署(在hadoop.cm01上安装即可)

选用MySQL5.6版本的,使用yum源安装默认是5.1的版本,需要修改yum源

检查是否自带的安装包

rpm -qa |grep mysql  

卸载安装包    

rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64  

安装mysql

 yum -y install mysql-server  

启动mysql  

service mysqld start

设置密码

/usr/bin/mysqladmin -u root password '123456'

设置开机自启动

chkconfig mysqld on

登陆

mysql -uroot -p123456

四、Cloudera Manager的安装

首先在所有的服务器上安装第三方依赖包

# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

然后在所有服务器上创建如下目录:

# mkdir -p /opt/cloudera-manager  //目录路径和名称不能变

解压Cloudera Manager的tar包到/opt/cloudera-manager目录下:

# tar zxf /opt/softwares/cloudera-manager-el6-cm5.3.6_x86_64.tar.gz  -C  /opt/cloudera-manager/

搭建Cloudera Manager环境

修改agent的配置文件

/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent  //agent配置文件目录

# vi  config.ini(所有服务器上都改为下图所示)

搭建Cloudera Manager环境

五、为CM创建一个专用的普通用户 cloudera-scm(所有的服务器上!!)

# useradd --system  表示创建的是系统用户
 --home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server  指定了用户的主目录
 --no-create-home 表示不再创建用户的主目录
 --shell=/bin/false  不作为登陆用户 
 --comment "Cloudera SCM User" 
 cloudera-scm   用户名

验证: 
# cat /etc/passwd | grep cloudera-scm

搭建Cloudera Manager环境

六、配置CM访问数据库的权限,添加一个temp用户

1、mysql> grant all privileges on  *.*  to 'temp'@'%' identified by 'temp' with grant option ;

2、mysql> flush privileges ;   需要刷新权限才生效

3、上传mysql-connector-java.jar

# cp /opt/softwares/mysql-connector-java.jar /usr/share/java

4、在hadoop.cm01上执行CM在mysql中的初始化脚本

/opt/cloudera-manager/cm-5.3.6/share/cmf/schema  初始化脚本路径

# ./scm_prepare_database.sh mysql -h hadoop.cm01 -utemp -ptemp --scm-host hadoop.cm01 scm scm scm

七、配置CDH源

1、创建目录

# mkdir -p /opt/cloudera/parcel-repo   //在server节点上  
# mkdir -p /opt/cloudera/parcels   //在所有节点上

搭建Cloudera Manager环境

2、将parcel文件移动到parcel-repo目录下

# mv /opt/softwares/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel*  /opt/cloudera/parcel-repo/

3、修改CDH源校验码文件的名称

# mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha

4、更改目录所有人

# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/  //在server节点上
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/  //在所有节点上

八、启动CM进程服务

1、启动server 
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-server start  

2、启动agent 
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-agent start

在web界面输入:http://192.168.100.28:7180进入CM初始界面。  (192.168.100.28为hadoop.cm01的ip地址)

用户名和密码都是:admin

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

按照提示修改即可(所有的服务器上都要修改)

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

如果选择了安装Activity Monitor,则需要给其创建数据库

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

搭建Cloudera Manager环境

到此,安装成功!!如果失败,可以重试一下。

成功后的界面如下:

搭建Cloudera Manager环境

 

相关文章: