在 Hadoop 中运行 map-reduce jar 的替代方案

【问题标题】：Alternatives for running a map-reduce jar in Hadoop在 Hadoop 中运行 map-reduce jar 的替代方案
【发布时间】：2019-09-25 12:08:06
【问题描述】：

我知道 hadoop jar 命令用于在 Hadoop 中运行 Map-Reduce jar，但是在 Map-Reduce API 的 Job 类中有这个 setJar(String jar) method。 API documentation 的此页面提到 Jar 作为 Job 类的参数。

因此我想知道除了hadoop jar 之外是否还有其他方法可以运行jar 文件，以及这个setJar() 方法的作用是什么。

任何帮助都会很棒。 TIA :)

【问题讨论】：

标签： java hadoop jar mapreduce

【解决方案1】：

hadoop 内部尝试查找作业 jar，为此必须将作业的类打包到作业 JAR 中。所以 setJar() 和 setJarByClass() 没有别的作用。

见Hadoop: The Definitive Guide, 4th Edition by Tom White

首先，作业的类必须打包到作业 JAR 文件中以发送到集群。 Hadoop 将通过在包含 setJarByClass() 方法（在 JobConf 或 Job 上）中设置的类的驱动程序类路径中搜索 JAR 来自动找到作业 JAR。或者，如果要通过文件路径设置显式 JAR 文件，可以使用 setJar() 方法。（JAR 文件路径可以是本地或 HDFS 文件路径。）

【讨论】：