【问题标题】:Hive - GenericUDTF - runQuery fails due to kryo stackoverflow exceptionHive - GenericUDTF - runQuery 由于 kryo stackoverflow 异常而失败
【发布时间】:2017-01-19 10:40:09
【问题描述】:

HiveServer2 ; Hive 版本:1.2

我正在尝试运行包含自定义 UDF 类(实现 GenericUDTF)的查询。

UDF 类包含一个用于计算的树对象。

当树较小时,查询运行正常。 但是当树增长时,查询失败并出现以下错误:

org.apache.hive.service.cli.HiveSQLException:处理语句时出错:FAILED:执行错误,从 org.apache.hadoop.hive.ql.exec.mr.MapRedTask 返回代码 -101。无效的 在 org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:315) 在 org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:155) 在 org.apache.hive.service.cli.operation.SQLOperation.access $100(SQLOperation.java:70) 在 org.apache.hive.service.cli.operation.SQLOperation$1$1.run(SQLOperation.java:205) 在 java.security.AccessController.doPrivileged(本机方法) 在 javax.security.auth.Subject.doAs(Subject.java:422) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1595) 在 org.apache.hive.service.cli.operation.SQLOperation$1.run(SQLOperation.java:217) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745) 原因:java.lang.StackOverflowError 在 org.apache.hive.com.esotericsoftware.kryo.util.DefaultClassResolver.writeName(DefaultClassResolver.java:90) 在 org.apache.hive.com.esotericsoftware.kryo.util.DefaultClassResolver.writeClass(DefaultClassResolver.java:81)

知道如何解决这个问题吗?蜂巢配置中有什么神奇的属性吗?

【问题讨论】:

    标签: hive hadoop-yarn kryo mapr


    【解决方案1】:

    问题似乎与https://github.com/EsotericSoftware/kryo/issues/103有关

    我的解决方法是在运行时(在 process() API 中)而不是在初始化时(在 initialize() API 中)初始化树对象

    【讨论】:

      猜你喜欢
      • 2013-02-26
      • 2017-08-04
      • 1970-01-01
      • 2015-10-07
      • 1970-01-01
      • 1970-01-01
      • 2017-02-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多