在 Dataproc 的集群中查找 Hadoop 流 jar

【问题标题】：Finding the Hadoop streaming jar in cluster in Dataproc在 Dataproc 的集群中查找 Hadoop 流 jar
【发布时间】：2019-11-13 08:31:48
【问题描述】：

所以我想在 Dataproc 集群上运行 Python map reduce 作业，问题是我找不到需要提交到 Main 类或 jar 输入的 Hadoop 流 jar 文件。

我在 Hadoop 2.7 中使用 Dataproc 映像，Hadoop 2.8 的答案也可以。

谢谢

【问题讨论】：

【解决方案1】：

Hadoop Streaming jar 位于 Dataproc 集群节点上的 /usr/lib/hadoop-mapreduce/ 文件夹中：/usr/lib/hadoop-mapreduce/hadoop-streaming.jar

【讨论】：