无法将 Apache Spark-2.1.0 与 Hive-2.1.1 元存储连接答案

【问题标题】：Could not connect Apache Spark-2.1.0 with Hive-2.1.1 metastore无法将 Apache Spark-2.1.0 与 Hive-2.1.1 元存储连接
【发布时间】：2017-09-17 00:54:51
【问题描述】：

Spark 和 Hive 单独工作正常，但是当我尝试将 Spark Dataframe 的输出写入 Hive 表时，我收到以下错误：

原因：org.apache.hadoop.hive.metastore.api.MetaException: Hive 架构版本 1.2.0 与 Metastore 的架构版本 2.1.0 不匹配 Metastore 未升级或损坏

下面附上“schematool -dbType postgres -info”的详细信息： Schematool Results Screenshot

附加说明：从Databricks Spark documentation page，我发现 Apache Spark 仅支持从 0.12 到 1.2.1 的多个版本的 hive。

所以我连接的唯一方法是降级我的 Hive 版本？或者是否有任何其他规定可以让我们添加额外的 jar 以将 Spark-2.1.0 DataFrames 写入 Hive-2.1.1 表？

感谢您对此的意见。提前致谢。

【问题讨论】：

非常感谢任何帮助

标签： postgresql apache-spark dataframe hive apache-spark-sql

【解决方案1】：

最后我自己找到了答案。对那些遇到同样问题的人会有所帮助。

在hive-site.xml文件中加入如下参数即可解决

<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>

【讨论】：

这不起作用，它只是更改了 Metastore 中的模式版本，从而导致 Hive 失败。 @JKC 你遇到过这个吗？