Hadoop ToolRunner 因 NoClassDefFoundError 而失败

Question

我创建了一个实现工具接口的简单 MapReduce 驱动程序。但是当我尝试在 Eclipse 中运行该作业时，我在调用 run() 方法之前得到了一个 NoClassDefFoundError。

我在Ubuntu 10.04 LTS 上运行Hadoop 0.20.2。下面提供了源代码和堆栈跟踪。任何帮助将不胜感激。

源代码

import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.*;

public class MyTestDriver extends Configured implements Tool {


@Override
public int run(String[] args) throws Exception {

    if (args.length != 2) {
        System.err.printf("Usage: %s [generic options] <input> <output>\n",
            getClass().getSimpleName());
        ToolRunner.printGenericCommandUsage(System.err);
        return -1;
    }

    // Code here to submit Hadoop Job ...   
    return 0;
}

/**
 * @param args
 */
public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new MyTestDriver(), args);
    System.exit(exitCode);
}

}

堆栈跟踪

线程“主”java.lang.NoClassDefFoundError 中的异常： org/apache/commons/cli/ParseException 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:59) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79) 在 MaxTemperatureDriver.main(MaxTemperatureDriver.java:44) 原因： java.lang.ClassNotFoundException： org.apache.commons.cli.ParseException 在 java.net.URLClassLoader$1.run(URLClassLoader.java:202) 在 java.security.AccessController.doPrivileged(Native Method) 在 java.net.URLClassLoader.findClass(URLClassLoader.java:190) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:307) 在 sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:248) ... 3 更多

Answer 1

是否所有 Hadoop 的依赖项都在您的 Eclipse 构建路径中？确保 hadoop/lib 目录中的所有 jars 都在您的构建路径中。

Answer 2

该错误表示未找到特定类。类存储在 .jar 文件中。因此，您需要检查所有必需的 jar 文件是否可用。基于CLASSPATH 变量搜索Jar 文件。如果您使用 Eclipse 作为您的开发环境，请检查是否满足构建依赖项（您可以通过 - 右键单击​​您的项目 -> 配置构建路径 -> 添加外部 jar 来执行此操作）。

另外，如果你不确定缺少哪个类，可以查看类名（Hadoop是开源的，所以你可以找到类名）然后在findjar中搜索类名