OrcNewInputformat 作为 hadoop 流的输入格式答案

【问题标题】：OrcNewInputformat as a inputformat for hadoop streamingOrcNewInputformat 作为 hadoop 流的输入格式
【发布时间】：2015-05-19 07:31:51
【问题描述】：

我正在使用 hadoop 流，我想将输入格式作为 OrcNewFormat.. 我正在执行命令：-

hadoop jar hadoop-streaming.jar -libjars /usr/hdp/2.2.4.2-2/hive/lib/hive-exec.jar -input /user/orcfiles -output /streamf -mapper 'cat' -inputformat org .apache.hadoop.hive.ql.io.orc.OrcNewInputFormat -outputformat org.apache.hadoop.hive.ql.io.orc.OrcNewOutputFormat

但我遇到了以下异常：

    Exception in thread "main" java.lang.RuntimeException: class org.apache.hadoop.hive.ql.io.orc.OrcNewInputFormat not org.apache.hadoop.mapred.InputFormat
        at org.apache.hadoop.conf.Configuration.setClass(Configuration.java:2150)
        at org.apache.hadoop.mapred.JobConf.setInputFormat(JobConf.java:702)
        at org.apache.hadoop.streaming.StreamJob.setJobConf(StreamJob.java:796)
        at org.apache.hadoop.streaming.StreamJob.run(StreamJob.java:128)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
        at org.apache.hadoop.streaming.HadoopStreaming.main(HadoopStreaming.java:50)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

从这个链接

http://hive.apache.org/javadocs/r1.2.0/api/

我可以看到 OrcNewInputFormat 类扩展了 org.apache.hadoop.mapreduce.InputFormat，但从异常中我可以找出类 org.apache.hadoop.hive.ql.io.orc.OrcNewInputFormat 不是 org.apache.hadoop .mapred.InputFormat。

我在这里错过了什么？

【问题讨论】：

标签： hadoop hive streaming

【解决方案1】：

现在我给出了错误的类名，它工作正常。

【讨论】：

【解决方案2】：

这是一个非常受欢迎的问题，调查了视图数量，但在正确的类名方面仍然缺乏“答案”。所以完成它：

正确的参数部分是-inputformat org.apache.hadoop.hive.ql.io.orc.OrcInputFormat -outputformat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat

【讨论】：

【解决方案3】：

就我而言，在运行 pig 命令之前，我必须在环境变量下方删除/标记为 false。

export HADOOP_USE_CLIENT_CLASSLOADER='true'

【讨论】：