Spark 中的 HIVE Metastore 警告答案

【问题标题】：HIVE Metastore warnings in SparkSpark 中的 HIVE Metastore 警告
【发布时间】：2017-04-29 10:47:12
【问题描述】：

在启动 spark-shell 时，我经常收到这样的警告

WARN ObjectStore: Version information not found in 
metastore. hive.metastore.schema.verification is not enabled so 
recording the schema version 1.2.0
WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
java.lang.RuntimeException:

它们是什么意思，我该如何防止它。此警告出现在 2.0.2 和 1.6.2 上，可能也出现在其他版本上。

【问题讨论】：

hive 和 spark 的版本是什么？你有升级什么吗？我的意思是早些时候它被发现了，现在你遇到了一些问题？
Spark 是 2.0.2 但同样的错误出现在其他版本的 spark 上。
您好，我也遇到了同样的问题，请问解决方法是什么？

标签： apache-spark hive metastore

【解决方案1】：

默认情况下 hive.metastore.schema.verification 设置为 false。另一个配置设置为 false 以避免此错误。在您的 hive-site.xml 中设置以下配置。（由于元存储中的 VERSION 表为空，会出现此问题）

<property>
         <name>hive.metastore.schema.verification</name>
         <value>false</value>
</property>

<property>
         <name>hive.metastore.schema.verification.record.version</name>
         <value>false</value>
</property>

【讨论】：

【解决方案2】：

我认为您的 hive 版本太旧，请尝试将 hive 升级到 1.2.0 或更高版本。另一种选择是使用与 hive 0.13 兼容的 spark 1.4。

【讨论】：

在使用 Spark SQL 时，我在 Spark 2.4.4 上看到完全相同的错误。

【解决方案3】：

我在 Spark 2.4.7 中遇到了同样的问题；我没有找到 hive-site.xml。它可能会被打包。但是，我确实通过执行以下导入启用了请求的验证，并创建了一个新的 spark 会话；在火花壳上。

scala> 导入 org.apache.spark.sql.Row
scala> 导入 org.apache.spark.sql.SparkSession
scala> val spark =SparkSession.builder.appName("Spark Hive Example").config("spark.sql.warehouse.dir", ".").enableHiveSupport().getOrCreate()

【讨论】：