cool-2018-05-15-离线安装CDH-02

准备

准备3个节点node6,node7,node8，node6作为主节点

共3台充当agent,其中node6又充当server

node6 内存6G， node7-8 内存2G，内存分配很关键，只可多，不可少

 

说明

操作系统：CentOS 6.x

JDK 版本：1.7

所需安装包及版本说明：

 

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

manifest.json 

cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

Cloudera Manager 下载目录

http://www.cloudera.com/downloads/manager/5-4-3.html

CDH 下载目录

http://archive.cloudera.com/cdh5/parcels/5.4.0/

 

CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中 CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1 重命名为 CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha，这点必须注意，否则，系统会重新下载 CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel 文件

 

开始

1.拷贝/home/tools下的

cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

到所有的server和agent节点

所有节点创建cm目录

mkdir /opt/cloudera-manager

解压cm压缩包

tar -zxvf cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager

 

 

2.创建用户 cloudera--scm--所有节点

useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

3.配置CM agent，所有节点

vi /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini

修改

server_host=node6 都改为node6，server对应的主机

只要配置server的主机名即可

server_port=默认的

 

 

4.配置CM Server的数据库，只要节点node6配置即可

cd /usr/share

ll | grep java

如果没有则

mkdir java

有则

cd java/

然后回到tools目录下

cd /home/tools/

将驱动包拷贝到 /usr/share/java目录下，并且jar包名称修改为mysql-connector-java.jar，如果是MySQL数据库必须这样做

cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

cd /usr/share/java

java]# ll

接下来要确保mysql已经启动，安装过MySQL之后就已经设置了开机自启动

service mysqld status

另外一些命令

service mysqld start

service mysqld stop

chkconfig mysqld on

chkconfig --lsit mysqld

去windows系统，连接上Linux上的mysql数据库

连接上mysql这个database 然后点击查询

输入以下语句（如果运行错误，则放在linux环境下，节点node6上运行下面代码即可，运行错误的原因与Windows上安装的MySQL数据库有关）

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

运行（或者在linux环境下，mysql -uroot -p 输入密码，use mysql;）

回到Linux系统中，节点node6上运行

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

chema]# ./scm_prepare_database.sh mysql -hnode6 -utemp -ptemp --scm-host node6 scm scm scm

 

备用：上面这个脚本不行则用下面这个脚本

chema]# ./scm_prepare_database.sh mysql -hnode6 -uroot -p60506553 --scm-host node6 scm scm scm

格式说明：数据库类型、数据库、数据库服务器、用户名、密码、cm server 服务器， 3个scm是默认账户

 

若出现错误，则linux进入MySQL数据库，删除所有用户，再重头来过

use mysql;

drop user 'temp'@'%';

若提示

all done your scm database is configured correctly

则说明创建成功

 

5.创建parcel目录--server端配置，也就是node6，

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

agent 配置 node6 node7 node8

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

6.制作CDH本地源，将下面两个文件放到 /opt/cloudera/parcel-repo目录下--server端配置，也就是node6，

cd /opt/cloudera/parcel-repo/

parcel-repo]# cp /home/tools/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel* ./

parcel-repo]# cp /home/tools/manifest.json ./

parcel-repo]#  ls

有上面这两个文件即可

 

7.启动CM manager & agent服务

启动server

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

init.d]# ls

init.d]# ./cloudera-scm-server start

init.d]# ./cloudera-scm-server stop

启动agent

所有节点，记得先启动server再启动agent，

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

./cloudera-scm-agent start

查看日志

cd /opt/cloudera-manager/cm-5.4.3

ls

cd log/

ll

cd cloudera-scm-server/

ll

tail -f cloudera-scm-server.log

cd /opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server/

启动大概要30分钟左右

看到

INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server

说明启动成功

启动成功之后

浏览器输入

node6:7180

或者

node6:7180/cmf/login

admin作为用户名密码登录

 

CDH5安装--以下是界面操作：

免费版本的CM5已经去除50个节点数量的限制

 

点击继续

各个agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点，选择要安装的节点，点继续

 

接下来，出现以下包名，说明本地Parcel包配置无误，直接点击继续即可

 

如果本地parcel包无误，那么下图中的已下载，应该是瞬间就完成，然后耐心等待分配过程即可，大约10分钟，取决于网速

 

接下来服务器检查，可能遇到以下问题，针对所有节点解决

问题1：Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

 

通过 echo 0 > /proc/sys/vm/swappiness 即可解决

 

问题2：已启用“透明大页面”，它可能会导致重大的性能问题。版本为“CentOS release 6.3 (Final)”且版本为“2.6.32-279.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] never”，并将 d

efrag 设置为“[always] never”。请运行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到一个 init 脚本中，

如 /etc/rc.local，这样当系统重启时就会设置它。或者，升级到 RHEL 6.4 或更新版本，它们不存在此错误。将会影响到以下主机

 

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local

 

 

点击完成

进入选择在集群上安装的CDH5服务，可以全部选择，取决于自己，有些准备工作要做，否则可以先选择hadoop的HDFS，zookeeper，yarn

 

服务配置，一般保留默认配置即可，如果需要调整，自行设置即可

 

如果采用其他数据库安装 Hive 等组件的时候报错，检查之前配置 CM Server 数据库时，jar 包拷贝位置及名称是否修改

 

 

创建hdfs/tmp目录失败的时候

 

cd /tmp

mkdir hdfs

即可解决

出现 在服务 YARN (MR2 Included) 上执行命令 Start 失败

解决：  找到resourcemanager，如果有两个，则需要互相免密登录

服务的安装过程大约半小时内就可以完成，安装完成后，点击完成就可以进入集群界面查看当前集群的状况

最后所有启动成功

 

这里可能会出现无法发出查询的情况：对Server Monitor 的请求超时的错误提示，如果各个组件的安装没有问题，一般是因为服务器比较卡导致的，过一会刷新一下页面即可。