hostname和hosts配置，参考如下配置：
127.0.0.1 localhost.localdomain localhost
192.168.1.1 cluster-01.example.com cluster-01
192.168.1.2 cluster-02.example.com cluster-02
192.168.1.3 cluster-03.example.com cluster-03
禁用selinux.
集群所有节点修改/etc/selinux/config 文件如下
SELINUX=disabled
SELINUXTYPE=targeted
关闭防火墙
service iptables stop
chkconfig iptables off
集群时钟同步
安装ntpd服务
service ntpd start
永久修改swappiness，
echo 10 > /proc/sys/vm/swappiness
关闭transparent_hugepage
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置
软件安装
注意集群各节点必须需安装依赖包，最后能连网或做yum源，由程序自动依赖安装：
Python2.6
MySql-python
python-psycopg2
mod_ssl
openssl-devel
httpd
fuse-libs
perl
具体参考官网：
https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_package_dependencies.html#package_dependencies
安装mysql,启动mysql。
创建用户授权
grant all on *.* to 'bigdata'@'%' identified by '*******' with grant option;
flush privileges;
安装jdbc驱动。将mysql驱动包放入/usr/share/java
mv mysql-connector-java-5.1.38.jar mysql-connector-java.jar
下载cloudera manager CDH 软件。
CDH 下载地址：http://archive.cloudera.com/cdh5/parcels/5.4.8/
Cloudera manager下载地址：http://archive.cloudera.com/cm5/repo-as-tarball/5.11.0/
apache httpd server 安装。(一般linux系统自带这个服务，启动就可以了)。
yum -y install httpd
Cloudera manager 安装
1.配置本地repo源，
cd /etc/yum.repos.d
[[email protected] etc]# cd yum.repos.d/
[[email protected] yum.repos.d]# ls
CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Media.repo CentOS-Vault.repo cloudera-manager.repo cloudera-manager.repo.~1~ cloudera-manager.repo.~2~
[[email protected] yum.repos.d]# pwd
/etc/yum.repos.d
[[email protected] yum.repos.d]# vi cloudera-manager.repo
[cloudera-manager]
name = Cloudera Manager, Version 5.11.0
baseurl = http://192.168.0.37/cm/5.11.0/
gpgcheck = 0
2.将cm5.11.0-centos6.tar.gz 解压到/var/www/html/
tar -zxvf cm5.11.0-centos6.tar.gz -C /var/www/html/
3.CDH-5.4.8-1.cdh5.4.8.p0.4-el6.parcel,CDH-5.4.8-1.cdh5.4.8.p0.4-el6.parcel.sha,manifest.json 拷贝到/var/www/html/cdh5.11.0目录下
(我这用的是5.4.8，安装时用统一的版本就可以，cm支持比其低的版本，不支持高版本)
4.安装jdk
5．安装cloudera manager server
5.1 yum -y install cloudera-manager-server
5.2 /usr/share/cmf/schema/scm_prepare_database.sh mysql cm –h 192.168.0.37 -uroot -p***** --scm-host 192.168.0.37 scm scm scm
5.3 启动cloudera manager server
service cloudera-scm-server start
CDH安装
- admin/admin 登录到 CM
- 同意 license 协议，点击继续
3. 选择免费,点击继续
4.点击继续
5. 输入主机 ip 或者名称，点击搜索找到主机后点击继续
6.点击“继续”
7. 使用 parcel 选择，点击“更多选项” ,点击“ -”删除其它所有地址，输入
http://192.168.0.37/cdh5.4.8/点击“保存更改”
8. 选择自定义存储库，输入 cm 的 http 地址http://192.168.0.37/cm/5.11.0/
9.点击“继续”，进入下一步安装 jdk，可选
10.点击“继续”，进入下一步，默认多用户模式
11.点击“继续”，进入下一步配置 ssh 账号密码(如是root请选择root用户，避免不必要的错误用root用户安装)
12.点击“继续”，进入下一步，安装 Cloudera Manager 相关到各个节点
13. 点击“继续”，进入下一步安装 cdh 到各个节点
14. 点击“继续”，进入下一步主机检查，确保所有检查项均通过
15. 点击完成进入服务安装向导
集群设置安装向导
- 选择需要安装的服务
2. 点击“继续”，进入集群角色分配
3.点击“继续”，进入下一步，测试数据库连接。需要先在数据库中创建对应的库
4. 测试成功，点击“继续”，进入目录设置，此处使用默认默认目录，根据实际情况
进行目录修改
5.点击“继续”，进入各个服务启动
6.安装成功
7. 安装成功后进入 home 管理界面
注意：
建议定期备份cloudera manager所用的数据库及集群各服务的数据库。
cdh数据目录外层目录权限必须是755 chmod 755 /data