CDH 5.X  无法连接到 mysql 5.6

CDH5.x 安装问题集锦



安装日志报错:


CDH5.x 安装问题集锦

网上查到:

CDH5.x 安装问题集锦



自己解决办法:

想到是因为自己要安装mysql,卸载了系统自带的,卸载了。所以,可能把该文件给删除了。就从其他节点,查询这个文件。libmysqlclient.so.18  

果然可以查询到。

CDH5.x 安装问题集锦


然后


vi /etc/ld.so.conf

后面增加一条记录:
/usr/lib64/mysql 

保存后执行命令使之生效:ldconfig  



CDH5.x 安装问题集锦

You need to use one of the following commands. Which one depends on what OS and software you have and use.

  1. easy_install mysql-python (mix os)
  2. pip install mysql-python (mix os)
  3. apt-get install python-mysqldb (Linux Ubuntu, ...)
  4. cd /usr/ports/databases/py-MySQLdb && make install clean (FreeBSD)
  5. yum install MySQL-python (Linux Fedora, CentOS ...)

For Windows, see this answer: Install mysql-python (Windows)



上述方法仍没法解决:

越过了HUE的安装步骤,待CDH集群全部搭建完毕后,再单独进行HUE的安装。(后来,重新卸载了 主机的 python,自己重新装了python,就可以了)



CDH5.x 安装问题集锦


CDH5.x 安装问题集锦

查看安装日志,了解到:


可能是软件的问题
apt-get install python-libxslt1

如还不能解决,尝试下面安装
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel



重装了 python ,就可以了。看来是系统自带的python  缺少一些包。


CDH5.x 安装问题集锦

问题三:CDH安装Hive 和 Oozie 过程中,找不到 jdbc驱动



CDH5.x 安装问题集锦


解决方案:

安装Hive或OOzie的时候可能会报错,因为我们使用了MySql作为元数据存储,hive或OOzie默认没有带mysql的驱动,通过以下命令拷贝一个就行了。

CDH5.x 安装问题集锦


CDH5.x 安装问题集锦



问题四:集中有 667 个 副本不足的块 块。群集中共有 670 个块。百分比 副本不足的块: 99.97


原因

原因是设置的副本备份数与DataNode的个数不匹配。

我们在之前理论篇中已经说明了dfs. replication属性默认是3,也就是说副本数---块的备份数默认为3份。

hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解

但是我们这里集群只有两个DataNode。

所以导致了达不到目标---副本备份不足。


解决方法


本文中,直接给了3个datanode节点,完美解决了。

这种情况下的修复有2个步骤,1是设置目标备份数为2,2是通过命令更改当前备份数。

副本不足和副本过多都可以用这2个步骤解决,主要是跟DataNode的个数对应。

设置目标备份数为2

点击集群-HDFS-配置

搜索dfs. replication,设置为2后保存更改


问题五:NameNode 的 Java 堆栈大小




CDH5.x 安装问题集锦



问题六:无法启动此 NFS Gateway 

CDH5.x 安装问题集锦


CDH5.x 安装问题集锦


解决办法:

yum install rpcbind # 安装 rpcbind 服务


systemctl status rpcbind.service #查看rpcbind服务状态

systemctl start rpcbind.service #启动rpcbind服务

systemctl enable rpcbind.service#设置开机启动rpcbind服务

HDFS NFS Gateway工作需要依附 rpcbind 服务,所以启动前需要确定rpcbind服务正常开启。 service rpcbind start

但是HDFS NFS 服务会与系统自带的NFS服务冲突,所以在启动前需要关闭系统自带的NFS服务。service nfs stop


问题七:




CDH 5.X  无法连接到 mysql 5.6

CDH5.x 安装问题集锦



安装日志报错:


CDH5.x 安装问题集锦

网上查到:

CDH5.x 安装问题集锦



自己解决办法:

想到是因为自己要安装mysql,卸载了系统自带的,卸载了。所以,可能把该文件给删除了。就从其他节点,查询这个文件。libmysqlclient.so.18  

果然可以查询到。

CDH5.x 安装问题集锦


然后


vi /etc/ld.so.conf

后面增加一条记录:
/usr/lib64/mysql 

保存后执行命令使之生效:ldconfig  



CDH5.x 安装问题集锦



You need to use one of the following commands. Which one depends on what OS and software you have and use.

  1. easy_install mysql-python (mix os)
  2. pip install mysql-python (mix os)
  3. apt-get install python-mysqldb (Linux Ubuntu, ...)
  4. cd /usr/ports/databases/py-MySQLdb && make install clean (FreeBSD)
  5. yum install MySQL-python (Linux Fedora, CentOS ...)

For Windows, see this answer: Install mysql-python (Windows)



上述方法仍没法解决:

越过了HUE的安装步骤,待CDH集群全部搭建完毕后,再单独进行HUE的安装。



CDH5.x 安装问题集锦



查看安装日志,了解到:


可能是软件的问题
apt-get install python-libxslt1

如还不能解决,尝试下面安装
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel



问题三:CDH安装Hive 和 Oozie 过程中,找不到 jdbc驱动



CDH5.x 安装问题集锦


解决方案:

安装Hive或OOzie的时候可能会报错,因为我们使用了MySql作为元数据存储,hive或OOzie默认没有带mysql的驱动,通过以下命令拷贝一个就行了。

CDH5.x 安装问题集锦


CDH5.x 安装问题集锦



问题四:集中有 667 个 副本不足的块 块。群集中共有 670 个块。百分比 副本不足的块: 99.97


原因

原因是设置的副本备份数与DataNode的个数不匹配。

我们在之前理论篇中已经说明了dfs. replication属性默认是3,也就是说副本数---块的备份数默认为3份。

hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解

但是我们这里集群只有两个DataNode。

所以导致了达不到目标---副本备份不足。


解决方法


本文中,直接给了3个datanode节点,完美解决了。

这种情况下的修复有2个步骤,1是设置目标备份数为2,2是通过命令更改当前备份数。

副本不足和副本过多都可以用这2个步骤解决,主要是跟DataNode的个数对应。

设置目标备份数为2

点击集群-HDFS-配置

搜索dfs. replication,设置为2后保存更改


问题五:NameNode 的 Java 堆栈大小




CDH5.x 安装问题集锦



问题六:无法启动此 NFS Gateway 

CDH5.x 安装问题集锦


CDH5.x 安装问题集锦


解决办法:

yum install rpcbind # 安装 rpcbind 服务


systemctl status rpcbind.service #查看rpcbind服务状态

systemctl start rpcbind.service #启动rpcbind服务

systemctl enable rpcbind.service#设置开机启动rpcbind服务

HDFS NFS Gateway工作需要依附 rpcbind 服务,所以启动前需要确定rpcbind服务正常开启。 service rpcbind start

但是HDFS NFS 服务会与系统自带的NFS服务冲突,所以在启动前需要关闭系统自带的NFS服务。service nfs stop




相关文章: