前期博客

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)

 

 

 

 

 

带大家手把手读cloudera官网

 https://www.cloudera.com/documentation/enterprise/5-3-x.html

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

 

   说明:这些是可以点击进入,就直接可以下载得到电子档了。我这里不多赘述。

 

 

 

 

 

 

 

 

  (1) 找一台机器作为时间服务器

  我这里,放到clouderaManager01这台机器!

  注意,之前是已经做了集群时间同步了。

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

[hadoop@clouderaManager01 ~]$ sudo rpm -qa|grep ntp
fontpackages-filesystem-1.41-1.1.el6.noarch
ntp-4.2.6p5-10.el6.centos.2.x86_64
ntpdate-4.2.6p5-10.el6.centos.2.x86_64
[hadoop@clouderaManager01 ~]$ sudo vim /etc/ntp.conf 

 

 

  默认是如下

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)
# For more information about this file, see the man pages
# ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5).

driftfile /var/lib/ntp/drift

# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1
restrict -6 ::1

# Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

#broadcast 192.168.1.255 autokey        # broadcast server
#broadcastclient                        # broadcast client
#broadcast 224.0.1.1 autokey            # multicast server
#multicastclient 224.0.1.1              # multicast client
#manycastserver 239.255.254.254         # manycast server
#manycastclient 239.255.254.254 autokey # manycast client


# Enable public key cryptography.
#crypto

includefile /etc/ntp/crypto/pw

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography.
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8

# Enable writing of statistics records.
#statistics clockstats cryptostats loopstats peerstats
Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

 

 

 

 

   注意,这里有2处地方需要我们进行修改,如下

   因为,

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

 

   所以,修改地方1:

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

restrict 192.168.80.0 mask 255.255.255.0 nomodify notrap

 

 

   所以,修改地方2:

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

 

 

   有些人的机器上,如果有,需要如下去掉注释。(我的这里是没有的)

server 127.127.1.0    #local  clock
fudge   127.127.1.0   stratum  10

 

 

 

 

   (2)找一台机器与,保持boss与时间同步

  我这里,放到clouderaManager01这台机器!

 Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

[hadoop@clouderaManager01 ~]$ sudo vi /etc/sysconfig/ntpd

 

 

   默认是

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

# Drop root to id 'ntp:ntp' by default.
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"

 

   

   我们,需要进行修改

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

# Drop root to id 'ntp:ntp' by default.
SYNC_HWCLOCK=yes
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"

   只需,增加如上的一行即可。

 

 

 

  然后,我们需设置clouderaManager01这台机器的时间服务器,为开机就启动,方便呗!

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)
[hadoop@clouderaManager01 ~]$ sudo service ntpd status
ntpd is stopped
[hadoop@clouderaManager01 ~]$ sudo service ntpd start
Starting ntpd:                                             [  OK  ]
[hadoop@clouderaManager01 ~]$ sudo chkconfig ntpd on
[hadoop@clouderaManager01 ~]$ sudo chkconfig --list|grep ntpd
ntpd               0:off    1:off    2:on    3:on    4:on    5:on    6:off
ntpdate            0:off    1:off    2:off    3:off    4:off    5:off    6:off
[hadoop@clouderaManager01 ~]$ 
Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

 

 

 

 

  (2) 找三台机器作为时间客户端

  我这里,放到clouderaManager02和clouderaManager03这三台机器!

  注意,这里使用的是Linux的定时任务,即Linux  Crontab,必须得root用户来操作啊!我这里是每10分钟同步一次!

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

[root@clouderaManager02 hadoop]# pwd
/home/hadoop
[root@clouderaManager02 hadoop]# crontab -l
no crontab for root
[root@clouderaManager02 hadoop]# crontab -e

 

 

 

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

 

 

 Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

## sync cluster time
0-59/10 * * * * /usr/sbin/ntpdate clouderamanager01

  其实啊,这里的写法很多种,我这里不多赘述,我喜欢用这种。

  第一个*是分

  第二个*是时

  第三个*是天

  第四个*是月

  clouderamanager01指的是,时间同步服务器是在哪台机器上。

  10是每10分钟一次,比如,你也设置为5,即每5分钟一次。

   

  clouderamanager03这台机器也是一样!这里不多赘述了。

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

Cloudera Manager安装之时间服务器和时间客户端(二)
    

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

 

 

 

 

 

 

 

 ***************************************************************

扩展:

   若是在工作中以后,需要手动来时间同步,则分别在时间客户端(louderaManager02、clouderaManager03和clouderaManager04)上,执行

  sudo /usr/sbin/ntpdate clouderaManager01

   即可,我这里不多说。

 ***************************************************************

 

 

 

 

接下来,我们进入,CM的安装!

相关文章:

  • 2021-05-02
  • 2021-10-25
  • 2021-06-03
  • 2022-12-23
  • 2022-12-23
  • 2021-10-06
  • 2021-09-22
猜你喜欢
  • 2021-06-16
  • 2021-07-08
  • 2022-12-23
  • 2021-10-29
  • 2021-05-07
  • 2021-10-03
相关资源
相似解决方案