Hadoop 2.7.3 Streaming Jar 无效答案

【问题标题】：Hadoop 2.7.3 Streaming Jar not validHadoop 2.7.3 Streaming Jar 无效
【发布时间】：2016-12-30 11:22:52
【问题描述】：

我是 Hadoop 的新手，我正在尝试使用 this 运行一个简单的程序。

我已将本地示例数据复制到 hdfs，但在我的 map reduce 作业中，当我按照官方 apache 文档运行此命令时

hadoop jar hadoop-streaming-2.7.3.jar \
-input /user/hduser/gutenberg/* \
-output /user/hduser/gutenberg-output \
-mapper /home/hduser/mapper.py \
-reducer /home/hduser/reducer.py

我收到了这个错误

不是一个有效的 JAR：/usr/lib/hadoop-streaming-2.7.3.jar

请尝试帮助我。

【问题讨论】：

标签： python hadoop jar

【解决方案1】：

它正在使用 Hadoop 2.7.3

这是你需要运行的命令

[Linux]$ hadoop jar \ 
/usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar \
-file /home/python/mapper.py /home/python/reducer.py \
-mapper "python mapper.py" \
-reducer "python reducer1.py" \
-input /tmp/word_i \
-output /tmp/word_output

【讨论】：

【解决方案2】：

hadoop-streaming-jar 的位置：

$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.1.2.4.2.0-258.jar

因为 $HADOOP_HOME 有时不一样。

【讨论】：