hadoop 1.1.2 - 找不到流媒体 jar答案

【问题标题】：hadoop 1.1.2 - streaming jar not foundhadoop 1.1.2 - 找不到流媒体 jar
【发布时间】：2013-08-10 04:26:37
【问题描述】：

我收到以下错误：当我尝试执行用 Python 编写的 mapreduce 作业时..我无法找到流 *.jar... 请建议如何解决此问题.. 您能否指导我为以下命令编写 bash 文件..

hduser@hadoop-PC:~/hadoop/contrib$ hadoop jar contrib/streaming/hadoop-*streaming*.jar -file /home/hduser/mapper.py    -mapper /home/hduser/mapper.py -file /home/hduser/reducer.py   -reducer /home/hduser/reducer.py -input /user/hduser/gutenberg/* -output /user/hduser/gutenberg-output
Warning: $HADOOP_HOME is deprecated.

Exception in thread "main" java.io.IOException: Error opening job jar: contrib/streaming/hadoop-*streaming*.jar
    at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.io.FileNotFoundException: contrib/streaming/hadoop-*streaming*.jar (No such file or directory)
    at java.util.zip.ZipFile.open(Native Method)
    at java.util.zip.ZipFile.<init>(ZipFile.java:215)
    at java.util.zip.ZipFile.<init>(ZipFile.java:145)
    at java.util.jar.JarFile.<init>(JarFile.java:153)
    at java.util.jar.JarFile.<init>(JarFile.java:90)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

【问题讨论】：

标签： hadoop-streaming

【解决方案1】：

嗯，我想，不是hadoop-streaming.jar，应该是hadoop-streaming-1.1.2.jar，所以试试这个：

hduser@hadoop-PC:~/hadoop$./bin/hadoop jar contrib/streaming/hadoop-streaming-1.1.2.jar** -file /home/hduser/mapper.py    -mapper /home/hduser/mapper.py -file /home/hduser/reducer.py   -reducer /home/hduser/reducer.py -input /user/hduser/gutenberg/* -output /user/hduser/gutenberg-output

【讨论】：

【解决方案2】：

嗯，愚蠢的问题，但您是否确认 A) 文件存在并且 B) 您有权访问它？另外，请尝试访问 ./contrib/streaming/hadoop-streaming.jar 之类的文件，甚至访问它的完全限定路径。

我刚刚注意到您正在从~/hadoop/contrib 运行您的代码。你需要从你的路径中去掉领先的contrib

【讨论】：