Hadoop MR 作业 - java.lang.ClassNotFoundException: au.com.bytecode.opencsv.CSVParser答案

【问题标题】：Hadoop MR job - java.lang.ClassNotFoundException: au.com.bytecode.opencsv.CSVParserHadoop MR 作业 - java.lang.ClassNotFoundException: au.com.bytecode.opencsv.CSVParser
【发布时间】：2019-05-03 09:30:49
【问题描述】：

Oozie 工作流触发 Hadoop Map Reduce 作业的 Java 类。我在我的 Eclipse 项目中添加了 opencsv-2.3.jar 和 commons-lang-3-3.1 jar 依赖项。该项目成功构建，但是当将它移到 Hadoop 集群上时，即使我的项目包含 jar，我也会收到 ClassNotFoundError。

由于这是一个有效的现有遗留系统，我不希望更改环境依赖项。因此，我通过将库添加到类路径来尝试不同的组合，但没有成功。

试过了：java.lang.NoClassDefFoundError: au/com/bytecode/opencsv/CSVReader - Upload File Vaadin

检查了 MR 客户端 maven 依赖项 - org.apache.hadoop:hadoop-mapreduce-client-common:2.6.0-cdh5.4.2。

生产环境中的遗留 jar 运行良好，但我的项目编译后的 jar 抛出错误如下：

oozie 系统日志：

INFO [uber-SubtaskRunner] org.apache.hadoop.mapreduce.Job: Running job: job_123213123123_35305
INFO [communication thread] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1548794054671_35304_m_000000_0 is : 1.0
INFO [uber-SubtaskRunner] org.apache.hadoop.mapreduce.Job: Job job_123213123123_35305 running in uber mode : false
INFO [uber-SubtaskRunner] org.apache.hadoop.mapreduce.Job:  map 0% reduce 0%
INFO [uber-SubtaskRunner] org.apache.hadoop.mapreduce.Job: Task Id : attempt_123213123123_35305_m_000001_0, Status : FAILED

oozie 标准错误：

Error: java.lang.ClassNotFoundException: au.com.bytecode.opencsv.CSVParser
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:142)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

如果我遗漏了什么以及我可以尝试什么，请提出建议。

【问题讨论】：

标签： java eclipse hadoop mapreduce opencsv

【解决方案1】：

opencsv-2.3.jar 库是从 Eclipse 构建路径作为外部 jar 添加的。我不得不使用 mvn clean 并构建它。最后，使用解决问题的目标文件夹中的“*jar-with-dependencies.jar”。

【讨论】：