工作驱动程序和第 3 方罐子答案

【问题标题】：Job driver and 3rd party jars工作驱动程序和第 3 方罐子
【发布时间】：2013-03-09 19:29:18
【问题描述】：

我能够在映射器和减速器需要使用 3rd 方 jar 的情况下运行 M/R 作业。我在调用 hadoop jar 命令时在 -libjars 中注册了这些 jar。但是，当作业驱动程序本身（扩展配置实现工具）需要运行此类代码（例如在启动和结束时通知某些远程服务）时，我面临一个奇怪的问题。使用hadoop jar提交作业时有没有办法配置类路径？似乎 -libjars 不适用于这种情况...

Exception in thread "main" java.lang.NoClassDefFoundError: com/me/context/DefaultContext
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClassCond(ClassLoader.java:632)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:616)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
        at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
        at com.me.bigdata.mr.pnm.PnmDataCruncher.run(PnmDataCruncher.java:50)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
        at com.me.mr.pnm.PnmMR.main(PnmDataCruncher.java:261)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Caused by: java.lang.ClassNotFoundException: com.me.context.DefaultContext
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:248)

我尝试使用 export HADOOP_CLASSPATH_USER_FIRST=true 和 -Dmapreduce.task.classpath.user.precedence=true，但仍然出现错误。

我正在运行 hadoop 1.0.4。

【问题讨论】：

如何实例化配置对象？确保通过getConf() 在您的驱动程序类中检索它

标签： hadoop

【解决方案1】：

怎么样

HADOOP_CLASSPATH=jar1:jar2    hadoop jar your_jar  your_class ...........

在一行shell命令中完成所有操作

【讨论】：