【问题标题】:hive-site.xml is being ignored by hivehive-site.xml 被 hive 忽略
【发布时间】:2014-02-12 22:00:54
【问题描述】:

我的 hive-site.xml 包含 mysql 的元存储详细信息,我试图通过 oozie 将其传递给 hive,但由于某种原因它忽略了它。它仍在尝试使用 derby 连接 Metastore。 我正在尝试找出如何指定我的 hive-site.xml。

如果我使用命令行客户端,那么 mysql 数据库被用作元存储,我可以在 TBLS 下看到由 mysql 中的 hive 创建的表。

如果我通过 oozie 作为工作流运行它,它会尝试连接到 derby Metastore。

Here are two lines from log.
6649 [main] INFO  DataNucleus.Persistence  - DataNucleus Persistence Factory - Vendor: "DataNucleus"  Version: "2.0.3"
6649 [main] INFO  DataNucleus.Persistence  - DataNucleus Persistence Factory initialised for datastore URL="jdbc:derby:;databaseName=metastore_db;create=true" driver="org.apache.derby.jdbc.EmbeddedDriver" userName="APP"

任何建议将不胜感激。 谢谢 拉维

Hadoop 1.2.1 蜂巢 0.11 OOzie 3.3.2

【问题讨论】:

  • 你上传文件到HDFS了吗?您确定您在 Oozie Hive 操作中提供的路径正确吗?
  • 你在用oozie.hive.defaults吗?
  • 是的。 oozie hive 动作正在被调用。但是在被调用后,它访问的是 derby Metastore 而不是 mysql Metastore。我是。它指向 HDFS 上的 hive-site.xml。

标签: hadoop hive oozie


【解决方案1】:

您能否尝试在工作流 xml 中设置以下配置。您可以将其设置为全局,以便适用于所有 hive 节点。

<global>
    <job-tracker>${jobTracker}</job-tracker>
    <name-node>${nameNode}</name-node>
    <configuration>
        <property>
            <name>hive.metastore.local</name>
            <value>${hivemetastorelocal}</value>
        </property>
        <property>
            <name>hive.metastore.uris</name>
            <value>${hivemetastoreuris}</value>
        </property>
        <property>
            <name>hive.metastore.client.socket.timeout</name>
            <value>${hivemetastoreclientsockettimeout}</value>
        </property>
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>${hivemetastorewarehousedir}</value>
        </property>
        <property>
            <name>hive.metastore.execute.setugi</name>
            <value>${hivemetastoreexecutesetugi}</value>
        </property>
    </configuration>
</global>

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-06-09
    • 1970-01-01
    • 2016-08-22
    • 1970-01-01
    • 2021-08-19
    相关资源
    最近更新 更多