如何将外部 jar 添加到 hadoop 作业？答案

【问题标题】：how to add external jar to hadoop job?如何将外部 jar 添加到 hadoop 作业？
【发布时间】：2019-01-31 19:07:25
【问题描述】：

我有一个 Hadoop 作业，其中映射器必须使用外部 jar。

我试图将这个 jar 传递给映射器的 JVM

通过 hadoop 命令上的 -libjars 参数

hadoop jar mrrunner.jar DAGMRRunner -libjars <path_to_jar>/colt.jar

通过 job.addFileToClassPath

job.addFileToClassPath(new Path("<path_to_jar>/colt.jar"));

在 HADOOP_CLASSPATH 上。

g1mihai@hydra:/home/g1mihai/$ echo $HADOOP_CLASSPATH
<path_to_jar>/colt.jar

这些方法都不起作用。这是我返回的堆栈跟踪。它抱怨的缺失类是 SparseDoubleMatrix1D 在 colt.jar 中。

如果我应该提供任何其他调试信息，请告诉我。谢谢。

15/02/14 16:47:51 INFO mapred.MapTask: Starting flush of map output
15/02/14 16:47:51 INFO mapred.LocalJobRunner: map task executor complete.
15/02/14 16:47:51 WARN mapred.LocalJobRunner: job_local368086771_0001
java.lang.Exception: java.lang.NoClassDefFoundError: Lcern/colt/matrix/impl/SparseDoubleMatrix1D;
        at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
        at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.NoClassDefFoundError: Lcern/colt/matrix/impl/SparseDoubleMatrix1D;
        at java.lang.Class.getDeclaredFields0(Native Method)
        at java.lang.Class.privateGetDeclaredFields(Class.java:2499)
        at java.lang.Class.getDeclaredField(Class.java:1951)
        at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1659)
        at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:72)
        at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:480)
        at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:468)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:468)
        at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:365)
        at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:602)
        at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1622)
        at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1517)
        at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1771)
        at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350)
        at java.io.ObjectInputStream.readObject(ObjectInputStream.java:370)
        at BoostConnector.ConnectCalculateBoost(BoostConnector.java:39)
        at DAGMapReduceSearcher$Map.map(DAGMapReduceSearcher.java:46)
        at DAGMapReduceSearcher$Map.map(DAGMapReduceSearcher.java:22)
        at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:784)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
        at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.ClassNotFoundException: cern.colt.matrix.impl.SparseDoubleMatrix1D
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        ... 28 more

【问题讨论】：

您的问题有解决方案吗？请在这里告诉我
你有答案吗？我也面临同样的问题。类在 main 函数中可用，但在 Map Reduce 部分调用时显示相同的错误。

标签： java hadoop mapreduce noclassdeffounderror

【解决方案1】：

我相信这个问题值得详细回答，我昨天被这个问题困住了，浪费了很多时间。我希望这个答案可以帮助每个碰巧遇到这个问题的人。有几个选项可以解决此问题：

将外部 jar（依赖项 JAR）作为应用程序 jar 文件的一部分。您可以使用 Eclipse 轻松完成此操作。此选项的缺点是它会使您的应用程序 jar 膨胀，并且您的 MapRed 作业将需要更多时间才能执行。每次您的依赖版本更改时，您都必须重新编译应用程序等。最好不要走这条路。
使用“Hadoop 类路径” - 在命令行上运行命令“hadoop 类路径”，然后找到一个合适的文件夹并将您的 jar 文件复制到该位置，hadoop 将从那里获取依赖项。这不适用于 CloudEra 等，因为您可能没有将文件复制到 hadoop 类路径文件夹的读/写权限。

我使用的选项是使用 Hadoop jar 命令指定 -LIBJARS。首先确保您编辑了您的驱动程序类：

public class myDriverClass extends Configured implements Tool {

  public static void main(String[] args) throws Exception {
     int res = ToolRunner.run(new Configuration(), new myDriverClass(), args);
     System.exit(res);
  }

  public int run(String[] args) throws Exception
  {

    // Configuration processed by ToolRunner 
    Configuration conf = getConf();
    Job job = new Job(conf, "My Job");

    ...
    ...

    return job.waitForCompletion(true) ? 0 : 1;
  }
}

现在编辑你的“hadoop jar”命令，如下所示：

hadoop jar YourApplication.jar [myDriverClass] args -libjars path/to/jar/file

现在让我们了解下面发生的情况。基本上，我们通过实现TOOL Interface 来处理新的命令行参数。 ToolRunner 用于运行实现 Tool 接口的类。它与GenericOptionsParser 一起使用来解析通用的hadoop 命令行参数并修改工具的配置。

在我们的 Main() 中，我们调用 ToolRunner.run(new Configuration(), new myDriverClass(), args) - 它通过 Tool.run(String[]) 运行给定的工具，在使用给定的通用参数解析之后。它使用给定的配置，或者如果它为空则构建一个，然后使用可能修改过的 conf 版本设置工具的配置。

现在在 run 方法中，当我们调用 getConf() 时，我们会得到配置的修改版本。 因此，请确保您的代码中有以下行。如果你实现了其他所有东西并且仍然使用 Configuration conf = new Configuration()，那么什么都行不通。

Configuration conf = getConf();

【讨论】：

请不要将相同的答案复制并粘贴到多个问题中 - 它们要么是重复的，要么应该得到问题细节的详细答案。
我以通用的方式编写了答案，以便可以在多个问题中使用它。但由于它违反政策，我将编辑答案以适应具体问题。

【解决方案2】：

我用过这个：

$ export LIBJARS=$HOME/.m2/repository/net/sf/opencsv/opencsv/2.3/opencsv-2.3.jar,$HOME/.m2/repository/org/apache/commons/commons-lang3/3.1/commons-lang3-3.1.jar,$HOME/.m2/repository/commons-beanutils/commons-beanutils/1.7.0/commons-beanutils-1.7.0.jar,$HOME/.m2/repository/commons-collections/commons-collections/3.2.1/commons-collections-3.2.1.jar
$ export HADOOP_CLASSPATH=`echo ${LIBJARS} | sed s/,/:/g`
$ $HADOOP_HOME/bin/hadoop jar $HOME/.m2/repository/hadoopTest/hadoopTest/0.0.2-SNAPSHOT/hadoopTest-0.0.2-SNAPSHOT.jar hadoopTest.testTask.TestTask -libjars ${LIBJARS} $HADOOP_HOME/input/ $HADOOP_HOME/output

它适用于 Hadoop 3.2.0。

【讨论】：

【解决方案3】：

使用分布式缓存 - 您可以在缓存中拥有任何可执行文件或小型参考文件，并在您的 MR 作业中使用它。

https://hadoop.apache.org/docs/r1.2.1/api/org/apache/hadoop/filecache/DistributedCache.html

运行MR作业有两种方式，一种在运行时使用类名，另一种在导出jar时提及主类。

hadoop jar jarname.jar DriverClassName Input-Location Output-Location
hadoop jar jarname.jar Input-Location Output-Location

【讨论】：