Avro Map Reduce - AvroInputFormat not found 错误

Question

这是我迄今为止从互联网上的各种来源阅读的内容。

Avro mapred 和 Avro 不是 CDH4 (Cloudera Distribution) 的一部分，我必须使用 HADOOP_CLASSPATH=avro.jar:avro-mapred.jar 手动设置它

我已经这样做了，当我在我的伪集群上运行我的工作时，它会引发以下异常：

13/12/27 00:47:40 WARN mapred.JobClient：使用 GenericOptionsParser 解析参数。应用程序应该实现相同的工具。

13/12/27 00:47:40 INFO mapred.FileInputFormat：要处理的总输入路径：1

13/12/27 00:47:41 INFO mapred.JobClient：正在运行的作业：job_201312221245_0017

13/12/27 00:47:42 INFO mapred.JobClient: map 0% reduce 0%

27 年 13 月 12 日 00:47:57 信息 mapred.JobClient：任务 ID：尝试_201312221245_0017_m_000000_0，状态：失败

java.lang.RuntimeException：java.lang.RuntimeException：java.lang.ClassNotFoundException：找不到类 org.apache.avro.mapred.AvroInputFormat

我的工作如下：

hadoop jar build/libs/hadoop-boilerplate-1.0.jar CustomerMapReduce transactions/input transactions/output1 -libjars /path/to/libs/avro-1.7.4.jar,/path/to/libs/avro-mapred -1.7.4.jar

Answer 1

您应该实现工具并使用getConf()进行作业配置。

public class SomeClass extends Configured implements Tool {
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf();
        ...
    }
}