将 hive.metastore.warehouse.dir ('null') 设置为 spark.sql.warehouse.dir ('/user/hive/warehouse') 的值答案

【问题标题】：Setting hive.metastore.warehouse.dir ('null') to the value of spark.sql.warehouse.dir ('/user/hive/warehouse')将 hive.metastore.warehouse.dir ('null') 设置为 spark.sql.warehouse.dir ('/user/hive/warehouse') 的值
【发布时间】：2019-09-16 03:34:15
【问题描述】：

我正在使用 spark 2.2 和 oozie 。我已经通过 shell-script 安排了 oozie 中的 spark-action，即我在 oozie 中调用了包含 spark-submit 命令的 shell 脚本。

但是当我运行作业时，它会给出以下 INFO 语句：将 hive.metastore.warehouse.dir ('null') 设置为 spark.sql.warehouse.dir ('/user/hive/warehouse') 的值。

现在作为属性 - hive.metastore.warehouse.dir = null ，我的工作无法识别表和数据库。

如何修复它或设置此属性。我尝试在 hive-site.xml 中设置以下属性，但仍然面临同样的错误

    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>

【问题讨论】：

标签： apache-spark oozie

【解决方案1】：

由于上面是使用 oozie 运行的，错误是 hive.xml 没有与作业一起传递。

传递正确的 hive.xml 解决了上述问题。

【讨论】：