在多节点集群上的 Hadoop 中运行字数统计示例时出现异常答案

【问题标题】：Exception in running word count example in Hadoop on multi node cluster在多节点集群上的 Hadoop 中运行字数统计示例时出现异常
【发布时间】：2012-04-21 10:09:32
【问题描述】：

我按照链接是here的教程进行操作

我正确配置了所有步骤。但在第 8 步中是使用字数统计的示例 MapReduce 作业当我执行命令时它会抛出异常

./bin/hadoop jar /home/ila/hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out

我该如何解决这个问题。例外情况如下：-

  hduser@ila:/usr/local/hadoop-0.22.0/bin$ ./hadoop jar /home/ila/hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out
    Exception in thread "main" java.io.IOException: Error opening job jar: /home/ila/hadoop-0.20.1-examples.jar
    at org.apache.hadoop.util.RunJar.main(RunJar.java:130)
    Caused by: java.util.zip.ZipException: error in opening zip file
    at java.util.zip.ZipFile.open(Native Method)
    at java.util.zip.ZipFile.(ZipFile.java:114)
    at java.util.jar.JarFile.(JarFile.java:133)
    at java.util.jar.JarFile.(JarFile.java:70)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:128)

提前谢谢... [:)] [:)]

【问题讨论】：

标签： hadoop mapreduce

【解决方案1】：

错误是因为命令 (/home/ila/hadoop-0.20.1-examples.jar) 中引用的 jar 文件不存在。很明显，您正在使用 hadoop-0.22.0 并且不会附带 hadoop-0.20.1-examples.jar。

尝试在hadoop安装目录中找到hadoop-*-examples jar，并在命令中使用。那应该可以解决问题。通常它将被命名为hadoop-0.22.0-examples.jar，因为 jar 命名与 hadoop 版本有关。

【讨论】：

【解决方案2】：

我猜你的主目录 (/home/ila) 中没有 hadoop-0.20.1-examples.jar 文件？

可能修改如下（根据您对 hadoop 命令的相对路径）：

./bin/hadoop hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out

虽然我从您提供的链接中看到，但系统会提示您下载示例 jar - 您也是从哪里下载此文件的？这应该是您提供的路径

【讨论】：