运行Hadoop作业时一处常见错误以及解决方法

p

运行Hadoop作业时一处常见错误以及解决方法 | 董的博客

-0229

 

 

Category: Hadoop-MapReduce

View: 172 阅
Author: Dong

 

【写在前面】THU的Jie Fu同学遇到了该问题，通过我们的邮件交流解决了该问题。 个人感觉该问题比较普遍，于是整理此文。

1. 问题描述

当用户编写完Hadoop程序时，准备运行时，经常会抛出以下异常：

[15:10:41,949][ INFO][main][org.apache.hadoop.mapred.JobClient:1330] – Task Id : attempt_201202281244_0003_m_000000_1, Status : FAILED

Error: java.lang.ClassNotFoundException: com.sca.commons.ScaException

at java.net.URLClassLoader$1.run(URLClassLoader.java:202)

at java.security.AccessController.doPrivileged(Native Method)

at java.net.URLClassLoader.findClass(URLClassLoader.java:190)

at java.lang.ClassLoader.loadClass(ClassLoader.java:306)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)

at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

at java.lang.Class.forName0(Native Method)

at java.lang.Class.forName(Class.java:247)

at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:819)

at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:864)

at org.apache.hadoop.mapreduce.lib.map.MultithreadedMapper.getMapperClass(MultithreadedMapper.java:95)

at org.apache.hadoop.mapreduce.lib.map.MultithreadedMapper.run(MultithreadedMapper.java:127)

at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)

at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)

at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:396)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1083)

at org.apache.hadoop.mapred.Child.main(Child.java:249)

大家一看异常“java.lang.ClassNotFoundException”就会知道原因是找不到java类。

经个人总结，这通常是由于以下几种原因造成的：

（1）你编写了一个java lib，封装成了jar，然后再写了一个Hadoop程序，调用这个jar完成mapper和reducer的编写

（2）你编写了一个Hadoop程序，期间调用了一个第三方java lib。

之后，你将自己的jar包或者第三方java包分发到各个TaskTracker的HADOOP_HOME目录下，运行你的JAVA程序，报了以上错误。

2. 解决方法

（1） 在运行脚本中添加classpath.

在$HADOOP_HOME/conf/hadoop_env.sh 或者$HADOOP_HOME/bin/hadoop-config.sh中添加：

export HADOOP_CLASSPATH=$HADOOP_HOME/my_jars

然后将你自己的jar包和第三方jar包分发到各个TaskTracker的HADOOP_CLASSPATH目录下（别忘了所有TaskTracker上的hadoop_env.sh和hadoop-config.sh均按以上方法添加HADOOP_CLASSPATH环境变量）

【注】hadoop_env.sh和hadoop-config.sh是所有hadoop运行脚本（start-all.sh, start-dfs.sh等）一定会引用的配置脚本，可以将一些最基本的环境变量或者配置参数加到这两个文件中。

（2） 使用“-D libjars“参数

这种方式是本人推荐的方法，但是支持这个功能，需要按照如下方式编写Hadoop程序：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
public class MyHadoopJob extends Configured implements Tool {
 
   public static class  MapClass
 
      extends Mapper<LongWritable, Text, IntPair, IntWritable> {
 
      //your mapper
 
   }
 
   public static class  Reduce
 
      extends  Reducer<IntPair, IntWritable, Text, IntWritable> {
 
      //your reducer
 
   }
 
//设定并读取应用程序相关的，自己定义的一些参数
 
   public int run(String[] args)  throws Exception {
 
      if(args.length < 2) {
 
         printUsage();
 
        return 2;
 
    }
 
   Job job = new Job(getConf());
 
   …......
 
   }
 
   //真正的main函数
 
   public static void main(String[] args) throws  Exception{
 
      int  res = ToolRunner.run(new Configuration(), new SleepJob(), args);
 
      System.exit(res);
 
   }
 
}

运行作业：

#run_myjob.sh

bin/hadoop jar myjob.jar MyHadoopJob \

-D mapred.job.name=MyHadoopJob \
-D mapred.map.tasks=24 \
-D mapred.mreduce.tasks=12 \
-D mapred.input.dir=/test/input1,test/input2 \
-D mapred.output.dir=/test/output \
-D libjars=myjob.jar,third-party.jar
-my1 5 \
-my2 china

运行./run_myjob.sh

其中 “-D libjars“指定本地两个jar文件，Hadoop自动会把这两个文件分发到各个TaskTracker的临时工作目录下，用完后自动删除。

3. 解决方案比较

第一种方法过于笨拙，每次都要人工地将jar包分发到各个TaskTracker上，如果集群很大，非常耗时；第二种方法利用了Hadoop内部机制进行jar包分发，非常方便。实际上，在Hadoop example中，除了WordCount例子外，其他所有例子均采用了方案2的设计方法。

运行Hadoop作业时一处常见错误以及解决方法 | 董的博客

-0229

运行Hadoop作业时一处常见错误以及解决方法

 

Category: Hadoop-MapReduce

View: 172 阅
Author: Dong

【写在前面】THU的Jie Fu同学遇到了该问题，通过我们的邮件交流解决了该问题。 个人感觉该问题比较普遍，于是整理此文。

1. 问题描述

当用户编写完Hadoop程序时，准备运行时，经常会抛出以下异常：

[15:10:41,949][ INFO][main][org.apache.hadoop.mapred.JobClient:1330] – Task Id : attempt_201202281244_0003_m_000000_1, Status : FAILED

Error: java.lang.ClassNotFoundException: com.sca.commons.ScaException

at java.net.URLClassLoader$1.run(URLClassLoader.java:202)

at java.security.AccessController.doPrivileged(Native Method)

at java.net.URLClassLoader.findClass(URLClassLoader.java:190)

at java.lang.ClassLoader.loadClass(ClassLoader.java:306)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)

at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

at java.lang.Class.forName0(Native Method)

at java.lang.Class.forName(Class.java:247)

at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:819)

at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:864)

at org.apache.hadoop.mapreduce.lib.map.MultithreadedMapper.getMapperClass(MultithreadedMapper.java:95)

at org.apache.hadoop.mapreduce.lib.map.MultithreadedMapper.run(MultithreadedMapper.java:127)

at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)

at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)

at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:396)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1083)

at org.apache.hadoop.mapred.Child.main(Child.java:249)

大家一看异常“java.lang.ClassNotFoundException”就会知道原因是找不到java类。

经个人总结，这通常是由于以下几种原因造成的：

（1）你编写了一个java lib，封装成了jar，然后再写了一个Hadoop程序，调用这个jar完成mapper和reducer的编写

（2）你编写了一个Hadoop程序，期间调用了一个第三方java lib。

之后，你将自己的jar包或者第三方java包分发到各个TaskTracker的HADOOP_HOME目录下，运行你的JAVA程序，报了以上错误。

2. 解决方法

（1） 在运行脚本中添加classpath.

在$HADOOP_HOME/conf/hadoop_env.sh 或者$HADOOP_HOME/bin/hadoop-config.sh中添加：

export HADOOP_CLASSPATH=$HADOOP_HOME/my_jars

然后将你自己的jar包和第三方jar包分发到各个TaskTracker的HADOOP_CLASSPATH目录下（别忘了所有TaskTracker上的hadoop_env.sh和hadoop-config.sh均按以上方法添加HADOOP_CLASSPATH环境变量）

【注】hadoop_env.sh和hadoop-config.sh是所有hadoop运行脚本（start-all.sh, start-dfs.sh等）一定会引用的配置脚本，可以将一些最基本的环境变量或者配置参数加到这两个文件中。

（2） 使用“-D libjars“参数

这种方式是本人推荐的方法，但是支持这个功能，需要按照如下方式编写Hadoop程序：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
public class MyHadoopJob extends Configured implements Tool {
 
   public static class  MapClass
 
      extends Mapper<LongWritable, Text, IntPair, IntWritable> {
 
      //your mapper
 
   }
 
   public static class  Reduce
 
      extends  Reducer<IntPair, IntWritable, Text, IntWritable> {
 
      //your reducer
 
   }
 
//设定并读取应用程序相关的，自己定义的一些参数
 
   public int run(String[] args)  throws Exception {
 
      if(args.length < 2) {
 
         printUsage();
 
        return 2;
 
    }
 
   Job job = new Job(getConf());
 
   …......
 
   }
 
   //真正的main函数
 
   public static void main(String[] args) throws  Exception{
 
      int  res = ToolRunner.run(new Configuration(), new SleepJob(), args);
 
      System.exit(res);
 
   }
 
}

运行作业：

#run_myjob.sh

bin/hadoop jar myjob.jar MyHadoopJob \

-D mapred.job.name=MyHadoopJob \
-D mapred.map.tasks=24 \
-D mapred.mreduce.tasks=12 \
-D mapred.input.dir=/test/input1,test/input2 \
-D mapred.output.dir=/test/output \
-D libjars=myjob.jar,third-party.jar
-my1 5 \
-my2 china

运行./run_myjob.sh

其中 “-D libjars“指定本地两个jar文件，Hadoop自动会把这两个文件分发到各个TaskTracker的临时工作目录下，用完后自动删除。

3. 解决方案比较

第一种方法过于笨拙，每次都要人工地将jar包分发到各个TaskTracker上，如果集群很大，非常耗时；第二种方法利用了Hadoop内部机制进行jar包分发，非常方便。实际上，在Hadoop example中，除了WordCount例子外，其他所有例子均采用了方案2的设计方法。

相关文章：

  • 2021-11-03
  • 2022-01-13
  • 2022-12-23
  • 2022-01-07
  • 2022-03-02
  • 2021-08-03
  • 2021-12-07
猜你喜欢
  • 2021-06-26
  • 2021-12-21
  • 2022-12-23
  • 2021-06-19
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode