【问题标题】:Why MapReduce process with ORC needs a HIVE class?为什么带有 ORC 的 MapReduce 流程需要一个 HIVE 类?
【发布时间】:2019-04-13 03:44:15
【问题描述】:

我正在实现一个 mapreduce 进程,其中读取、处理和写入 orc 文件,问题是当我尝试使用 map 任务读取时,它会产生一个错误,要求输入 org.apache.hadoop.hive.common.io。 DiskRange 类,当我导入 hive-exec.3.1.1.jar 时它可以工作,但是集群使用另一个具有旧依赖项的配置单元版本,这是一个错误的解决方案。

java.lang.Exception: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/common/io/DiskRange
    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/common/io/DiskRange
    at org.apache.orc.OrcFile.createReader(OrcFile.java:342)
    at org.apache.orc.mapreduce.OrcInputFormat.createRecordReader(OrcInputFormat.java:68)
    at org.apache.hadoop.mapreduce.lib.input.DelegatingRecordReader.<init>(DelegatingRecordReader.java:57)
    at org.apache.hadoop.mapreduce.lib.input.DelegatingInputFormat.createRecordReader(DelegatingInputFormat.java:129)
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.<init>(MapTask.java:512)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:755)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

【问题讨论】:

  • 首先,你所有的依赖是否一致?您是否为您的集群使用了正确版本的 MR/ORC?

标签: hadoop hive mapreduce orc


【解决方案1】:

我为 OrcStruct 和 hive.ql.io.orc.OrcSerde 使用本地 orc 库,这导致了异常。现在我正在使用 hive.ql.io.orc 中的所有库。

【讨论】:

猜你喜欢
  • 1970-01-01
  • 2019-03-09
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2012-02-19
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多