Spark CDH5.7 上的 Hive 执行错误答案

【问题标题】：Hive on Spark CDH5.7 Execution ErrorSpark CDH5.7 上的 Hive 执行错误
【发布时间】：2016-09-05 06:07:01
【问题描述】：

我最近将集群更新到了 CDH 5.7，并尝试在 Spark 上运行 Hive 查询处理。

我已将 Hive 客户端配置为使用来自 Cloudera Manager 的 Spark 执行引擎和 Hive 对 Spark 服务的依赖。

通过 HUE，我只是在运行一个简单的选择查询，但似乎总是出现此错误：处理语句时出错：FAILED：执行错误，从 org.apache.hadoop.hive.ql.exec 返回代码 3 .spark.SparkTask

以下是相同的日志：

ERROR operation.Operation: Error running hive query: 
org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
    at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:374)
    at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:180)
    at org.apache.hive.service.cli.operation.SQLOperation.access$100(SQLOperation.java:72)
    at org.apache.hive.service.cli.operation.SQLOperation$2$1.run(SQLOperation.java:232)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
    at org.apache.hive.service.cli.operation.SQLOperation$2.run(SQLOperation.java:245)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

任何解决这个问题的帮助都会很棒！

【问题讨论】：

这只表示查询的执行失败了...您应该查看 Spark UI 以了解发生了什么...您的查询是什么？
我尝试了一个复杂的连接查询，它给出了这个问题，所以我将查询更改为从 db_name 中选择 count(*)，却得到了同样的错误。
您应该查看 Spark UI 以了解问题所在..
这就是我得到的：原因：org.apache.hive.com.esotericsoftware.kryo.KryoException：遇到未注册的类 ID：16 序列化跟踪：colExprMap (org.apache.hadoop. hive.ql.exec.FilterOperator) childOperators (org.apache.hadoop.hive.ql.exec.TableScanOperator) aliasToWork (org.apache.hadoop.hive.ql.plan.MapWork)

标签： apache-spark hive cloudera-cdh

【解决方案1】：

这个问题是由于一个开放的 JIRA：https://issues.apache.org/jira/browse/HIVE-11519。你应该使用另一个序列化工具..

【讨论】：

并没有真正解决我的问题，但没关系，我会等待修复。谢谢你:)

【解决方案2】：

Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

不是真正的错误信息，你最好使用hive cli打开DEBUG信息，比如

bin/hive --hiveconf hive.root.logger=DEBUG,console

你会得到更详细的日志，比如那些是我之前得到的：

16/03/17 13:55:43 [fxxxxxxxxxxxxxxxx4 main]: INFO exec.SerializationUtilities: Serializing MapWork using kryo
java.lang.NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class;

这是由一些依赖冲突引起的，详情请参阅https://issues.apache.org/jira/browse/HIVE-13301。

【讨论】：