春季Hadoop | Job Tracker GUI 上未显示作业答案

【问题标题】：Spring Hadoop | Job not appearing on Job Tracker GUI春季Hadoop | Job Tracker GUI 上未显示作业
【发布时间】：2020-07-04 16:44:16
【问题描述】：

我在我的应用程序中使用 Spring for Apache Hadoop 1.0.0.M2。该应用程序使用 maven 程序集插件打包为二进制发行版，并使用以下命令在集群上运行： java -jar mlprocessor.jar

jar 中的清单文件包含对加载 spring 上下文文件的 Main 类的引用。这项工作执行得很好，我也看到了结果。但是，在 Job Tracker GUI 上没有此作业的踪迹。

日志显示以下警告：

WARN [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

我想检查是否有人知道这个问题，或者我遗漏了什么。

【问题讨论】：

无论作业是否通过 spring 提交，它应该对 Hadoop 集群是透明的，并且应该在 JobTracker GUI 中可见。我认为 Spring 在这里不应该成为问题。
谢谢 Praveen，我也相信。但是，它似乎不是那样工作的。我尝试运行与 spring-data-hadoop-0.9.0.RELEASE 捆绑在一起的 wordcount 示例，并有类似的观察结果：Job Tracker 用户界面没有跟踪这项工作。

标签： spring hadoop

【解决方案1】：

我确实在 Spring Hadoop 论坛 (http://forum.springsource.org/showthread.php?131245-Job-not-appearing-on-JobTracker-user-interface) 上发布了相同的问题，并在那里收到了答案：

我在 hdp:configuration 中缺少“mapred.job.tracker”属性配置。将配置更改为以下配置后，Job tracker UI 能够跟踪此作业。

<hdp:configuration>
    fs.default.name=${fs.default.name}
    mapred.job.tracker=${mapred.job.tracker}
</hdp:configuration>

【讨论】：