Spark 1.4 中持久托管配置单元表的路径答案

【问题标题】：Path for persistent, managed hive tables in Spark 1.4Spark 1.4 中持久托管配置单元表的路径
【发布时间】：2015-09-22 00:54:43
【问题描述】：

我是 Spark 的新手，正在研究 JavaSqlNetworkWordCount 示例以在持久表中附加字数。我知道我只能通过 HiveContext 来做到这一点。但是，HiveContext 不断尝试将表保存在 /user/hive/warehouse/ 中。我尝试通过添加来更改路径

hiveContext.setConf("hive.metastore.warehouse.dir", "/home/user_name");

并通过添加属性

 <property><name>hive.metastore.warehouse.dir</name>
 <value>/home/user_name</value></property>

$SPARK_HOME/conf/hive-site.xml，但似乎没有任何效果。如果其他人遇到此问题，请告诉我您是否/如何解决它。我在本地 RHEL5 机器上使用 Spark1.4。

【问题讨论】：

标签： apache-spark hive

【解决方案1】：

我想我解决了这个问题。看起来 spark-submit 在 jar 文件的根目录中创建了一个 metastore_db 目录。如果 metastore_db 存在，则 hive-stie.xml 值将被忽略。一旦我删除了该目录，代码就会从 hive-site.xml 中获取值。不过，我仍然无法从代码中设置 hive.metastore.warehouse.dir 属性的值。

【讨论】：