使用 Cloudera Manager 的 Cloudera QuickStart VM 5.12 上的 Hive Meta Store 失败答案

【问题标题】：Hive Meta Store Failure on Cloudera QuickStart VM 5.12 with Cloudera Manager使用 Cloudera Manager 的 Cloudera QuickStart VM 5.12 上的 Hive Meta Store 失败
【发布时间】：2018-09-06 05:22:44
【问题描述】：

Cloudera 声称拥有快速启动方法。我注意到这对我不起作用。

当我调用 spark-shell 时，我得到：

... WARN metastore.ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version

我觉得它令人困惑，这毕竟是一个快速入门，这看起来很奇怪。

所以：

我看到有 mysql 与 Metastore db 一起运行。我可以访问这个很好。
如果使用 mysql 作为 hive metastore，是否需要启动 hive metastore？我想是的，但是...
我现在是否需要 hive 服务器 2 才能在本地运行？或者我可以不跑吗？
Hive 选项卡上的 Cloudera 管理器告诉我我正在使用 mysql，我看到一个自动生成的 hive-site.xml。

简而言之，我不确定如何着手解决此问题。其中一个日志是关于未能创建德比，例如...

Caused by: java.sql.SQLException: Failed to create database 'metastore_db', see the next exception for details.

简而言之，我正在寻求有关如何解决此问题的指导。

在我遇到的众多崩溃之一之前，我有一个 SPARK / SCALA 的 sbt 程序集可以正常访问远程 MYSQL 数据库，所以我想知道这是否是可行的方法以及 spark-shell 和本地Cloudera VM 都不稳定。

在挫折中寻求指导。 Data Bricks 的工作就像一场梦。

提前致谢。

【问题讨论】：

Hive Metastore 是一个独立的进程。它需要在活动的 mysql 进程之上运行。 HiveServer2 是您将使用 Hive JDBC 进行连接的对象，但 Spark 不需要它...但 metastore_db 通常是嵌入式 Derby 数据库，而不是 MySQL 表名
了解 Metastore DB，但是当我查看 Cloudera Manager 时，它指出我正在访问/打算访问 mysql 作为 hive Metastore，
每个版本的工作都没有以前那么好
我建议向 Cloudera 论坛询问这些问题。我好几年没用过快速入门虚拟机了
已安装 Cloudera QucikStart 5.13，没有此类问题，但有其他问题。提示跳过 5.12

标签： mysql apache-spark hadoop hive cloudera-quickstart-vm

【解决方案1】：

安装 5.13，其他问题但这些问题消失了。但请注意原因是什么。

全新安装完成后

sudo jps

已执行，那么所有 Hadoop 服务都可以正常工作。检查了这个。

然后注意到 Cloudera 管理器控制台 (CMS) 从未显示。网上的建议是执行命令调用CM Express。

一旦您这样做了，CMS 就会显示出来，但是许多 Hadoop 服务需要（重新）启动。那么重点是 spark-shell 出问题了，并且 metastore 不再可访问。总而言之，解决方案不是那么明显的一团糟。

手动安装 Hadoop 可能是最佳选择，但需要明确的集成规范。然后还有不支持 Spark 2.x 和 KUDU 不存在的问题，包裹与包裹。

【讨论】：