Sparklyr 没有连接到我的蜂巢仓库答案

【问题标题】：Sparklyr not connecting to my hive warehouseSparklyr 没有连接到我的蜂巢仓库
【发布时间】：2019-01-12 19:38:28
【问题描述】：

我正在做一件非常愚蠢的事情，并尝试从头开始安装 Yarn/Hive/Spark/R 平台，而不是使用 Hortonworks 或 Cloudera。我已经弄清楚了很多部分，但我一直试图让我的 sparklyr 连接到我的 Hive 仓库。

我在一台机器上使用 Rstudio 并连接到位于单独集群上的 yarn-client。我把hive-site.xml 几乎无处不在，本地$SPARK_HOME/conf 和每个hadoop 节点的$SPARK_HOME/conf 和$HADOOP_CONF_DIR。在hive-site.xml 我已经包含了参数：

  <property>
    <name>spark.sql.warehouse.dir</name>
    <value>hdfs://<driver node>/user/hive/warehouse/</value>
    <description>The loation of the hive warehouse</description>
 </property>

我觉得这应该相当清楚地表明我正在尝试使用 hive 但是当我运行此代码时：

DBI::dbGetQuery(sc, "CREATE DATABASE test")
DBI::dbGetQuery(sc, "use test")
iris_spark_table <- copy_to(sc, iris, overwrite = TRUE)
sdf_copy_to(sc, iris_spark_table)
DBI::dbGetQuery(sc, "create table iris_hive as SELECT * FROM iris_spark_table")

我收到此错误：

org.apache.hadoop.hive.ql.metadata.HiveException: 
  java.io.IOException: 
    Mkdirs failed to create file:/<my-r-code's-working-dir>/spark-warehouse/test.db/iris_hive/.hive-staging_hive_2018-08-05_14-18-58_646_6160231583951115949-1/-ext-10000/_temporary/0/_temporary/attempt_20180805141859_0013_m_000000_3 
    (exists=false, cwd=file:/tmp/hadoop-hadoop/nm-local-dir/usercache/dzafar/appcache/application_1533357216333_0015/container_1533357216333_0015_01_000002)

我错过了什么？？？提前谢谢！！！

【问题讨论】：

标签： apache-spark hive hadoop-yarn sparklyr

【解决方案1】：

首先，应将 Spark 特定属性放在 Spark 配置文件中。这意味着你应该把

spark.sql.warehouse.dir

在$SPARK_HOME/conf/spark-defaults.conf

此外，您可能会遇到hdfs-site.xml 不在搜索路径中的问题。

【讨论】：

谢谢！如果我使用spark_connect("yarn-client")，我会将其放在本地 spark 的 conf 文件还是纱线驱动节点的 spark conf 文件中？
所以，我已将spark.sql.warehouse.dir 放入本地和纱线驱动节点上的spark-defaults.conf 文件中。然后我确保hdfs-site.xml 在所有纱线节点上都在$SPARK_HOME/conf 和$HADOOP_CONF_DIR 中。还是没有骰子。怎么回事？
这种情况下的搜索路径是什么？不知怎的，它没有把它放在那里对吗？
碰到这些...我真的卡住了
@Zafar 看看Inheriting Hadoop Cluster Configuratio 和Custom Hadoop/Hive Configuration