$SPARK_HOME 中包含的 hive-site.xml 是什么样的？答案

【问题标题】：What's hive-site.xml including in $SPARK_HOME looks like?$SPARK_HOME 中包含的 hive-site.xml 是什么样的？
【发布时间】：2016-01-03 04:20:25
【问题描述】：

我是 hive 的初学者，当我开始 spark 作业并从 hive 读取数据时发生了一些事情（找不到表）。我没有在 $SPARK_HOME/conf 中设置 hive-site.xml 吗？

在这里提交spark job命令

bin/spark-submit --master local[*] --driver-memory 8g --executor-memory 8g  --class com.ctrip.ml.client.Client /root/GitLab/di-ml-tool/target/di-ml-tool-1.0-SNAPSHOT.jar

【问题讨论】：

将相同的 hive-site.xml 文件从 hive 复制到 spark/conf 目录。

标签： hadoop apache-spark hive

【解决方案1】：

在您的 hive 发行版中，您有一个必须转换为您自己的站点文件的模板文件。

https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration#AdminManualConfiguration-hive-site.xmlandhive-default.xml.template

所以首先你必须通过复制 hive-default.xml.template 创建你自己的 hive-site.xml 文件，然后你可以从 spark 中使用它。

如果您不想使用默认文件，您可以使用前面答案中显示的任何前面的配置。

【讨论】：

【解决方案2】：

hive-site.xml 如下所示。

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost/metastore_db?createDatabaseIfNotExist=true</value>
        <description>metadata is stored in a MySQL server</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>MySQL JDBC driver class</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>USER</value>
        <description>user name for connecting to mysql server </description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>PASSWORD</value>
        <description>password for connecting to mysql server </description>
    </property>
</configuration>

【讨论】：

【解决方案3】：

只需将hive-site.xml 复制到conf 目录即可。

【讨论】：

【解决方案4】：

我相信这可能取决于您使用的发行版。我最近遇到了这个问题，this 为我解决了这个问题。我使用的是 HDP 2.3.2，所以我在 Spark conf 文件夹中的 hive-site.xml 副本仅包含以下内容：

<configuration>

  <property>
  <name>hive.metastore.uris</name>
  <value>thrift://host.xxx.com:9083</value>
  </property>

</configuration>

【讨论】：