Spark 上的 Hive 无法正常工作 - 无法创建 spark 客户端答案

【问题标题】：Hive on Spark is not working - Failed to create spark clientSpark 上的 Hive 无法正常工作 - 无法创建 spark 客户端
【发布时间】：2016-08-08 15:09:14
【问题描述】：

我在执行 hive 查询作为 spark 引擎时遇到错误。

Error:
    Failed to execute spark task, with exception org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
    FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

Hive Console:
    hive> set hive.execution.engine=spark;
    hive> set spark.master=spark://INBBRDSSVM15.example.com:7077;
    hive> set spark.executor.memory=2g;

    Hadoop - 2.7.0
    Hive - 1.2.1
    Spark - 1.6.1

【问题讨论】：

不，我有 2 个工作节点和 1 个主节点
还没有……还在解决这个问题

标签： apache-spark hive apache-spark-sql

【解决方案1】：

YARN 容器内存小于 Spark Executor 要求。我将 YARN Container 内存和最大值设置为大于 Spark 执行器内存 + 开销。查看 'yarn.scheduler.maximum-allocation-mb' 和/或 'yarn.nodemanager.resource.memory-mb'。

Please see Source here

【讨论】：