在没有 Hdfs 的情况下运行 jar 文件映射减少答案

【问题标题】：Running jar file map reduce without Hdfs在没有 Hdfs 的情况下运行 jar 文件映射减少
【发布时间】：2013-05-15 18:44:24
【问题描述】：

我从我的 Eclipse 项目中捆绑了一个 jar。我想将参数传递给 jar。基本上是jar的输入文件。我想知道如何提供不在 Hdfs 中的输入文件。我知道这不是现在 hadoop 工作，但这是为了测试目的。 Eclipse 具有本地文件的功能。有没有办法通过命令行做到这一点？

【问题讨论】：

是否要启动本地作业跟踪器并使用本地文件系统进行作业输入和输出？
试试file:///输入位置
@ChrisWhite 类似的东西。我能够从 Eclipse 提供本地文件输入。但是，如果我将我的项目捆绑为 jar 文件并尝试在 hadoop 上运行 jar（将本地文件作为输入）。它不起作用。
'在 hadoop 上运行 jar' - 所以你试图通过 hadoop 脚本二进制文件运行它？
@ChrisWhite 是的！通过使用 ./hadoop jar

【解决方案1】：

您可以通过从命令行覆盖作业跟踪器和文件系统属性以“本地”模式运行 hadoop：

hadoop jar <jar-file> <main-class> -fs local -jt local <other-args..>

您需要使用GenricOptionsParser（如果您使用ToolRunner 来启动您的工作，这是常态。

【讨论】：