hadoop中的JobTracker没有运行答案

【问题标题】：JobTracker in hadoop not runninghadoop中的JobTracker没有运行
【发布时间】：2017-04-09 02:21:34
【问题描述】：

实际上我使用

安装和配置了我的hadoop单集群

http://wiki.apache.org/hadoop/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29

现在我用的时候

NameNode - (http://localhost:50070)/ (对于我的名称节点) 它运行良好，但对于

JobTracker - (http://localhost:50030)/ 它不工作

可能是什么情况

谢谢

【问题讨论】：

每个服务（namenode、jobtracker 等）都单独启动并记录其输出。请检查 jobtracker 的输出，看看出了什么问题。
查看日志可以更好地了解正在发生的事情。在 ubuntu（和其他基于 Linux 的系统）上，日志位于 /var/log/hadoop/ 只需检查这些日志是否有错误：- hadoop--jobtracker-.log hadoop- -namenode-.log
你在使用 Hadoop 2.x.x 那么答案就在这里--> stackoverflow.com/questions/21852633/…

标签： hadoop

【解决方案1】：

在你运行 $HADOOP_HOME/bin/start-all.sh 之后，你可以输入一个命令“jps”来检查所有必要的 hadoop 进程是否已经启动。如果一切正常，应该是这样的：

hd0@HappyUbuntu:/usr/local/hadoop$ jps
18694 NameNode
19576 TaskTracker
19309 JobTracker
19225 SecondaryNameNode
19629 Jps
18972 DataNode

您的 JobTracker 进程可能无法正常工作。所以先检查一下。如果是真的，那么您应该查看日志目录中的日志文件以了解更具体的原因。

【讨论】：

其实它的到来就像这样 5181 12655 DataNode.ie for 5181 没有配置任何东西。它的空白 12935 SecondaryNameNode 12398 NameNode 13080 Jps
日志文件夹不包含与作业和任务跟踪器相关的日志文件

【解决方案2】：

hd0@HappyUbuntu:/usr/local/hadoop$ bin/hadoop jobtracker
您可能会看到有关凭据的错误。类型：
sudo chown -R hd0 /usr/local/hadoop
现在，输入“jps”并检查 JobTracker 是否正在运行
稍后，如果您获得“org.apache.hadoop.mapred.SafeModeException: JobTracker is in safe mode”，可能需要键入“bin/hadoop dfsadmin -safemode leave”

【讨论】：

【解决方案3】：

使用以下命令格式化您的名称节点。

$ <path_to_hadoop.x.xx>/bin/hadoop namenode -format

这将解决您的问题。

【讨论】：

【解决方案4】：

在新版本的 hadoop 中，您可以监控正在执行的作业

localhost:8088

在哪里可以找到新 hadoop 的 webUI

链接：https://stackoverflow.com/a/24105597/1971660

【讨论】：

【解决方案5】：

回复可能有点晚，但我希望对其他读者有用。

在 Hadoop 2.0 中，JobTracker 和 TaskTracker 不再存在，并被三个组件取代：

ResourceManager：在集群中的竞争应用程序之间分配可用资源的调度程序。

NodeManager：在集群中的每个节点上运行，并从 ResourceManager 获取指导。它负责管理单个节点上可用的资源。

ApplicationMaster：特定于框架的库的实例，ApplicationMaster 运行特定的 YARN 作业并负责从 ResourceManager 协商资源，并与 NodeManager 一起执行和监控容器。

只要您看到 ResourceManager（在 NN 上）和 NodeManager（在 DN 上）进程，您就可以开始了。

【讨论】：

这些更改的文档在哪里。

【解决方案6】：

嗯.. Hadoop 的发行版/版本是什么？我已经很久没有使用 hadoop-site.xml 了。对于 Hadoop 1.0.x，它是 core-site.xml 和 mapred-site.xml。基本上，我认为 start-all 根本没有启动你的 jobtracker，因为它没有正确配置。

【讨论】：

【解决方案7】：

请试试这个命令 --- hadoop dfsadmin -safemode leave --- 更有效。

【讨论】：

【解决方案8】：

从

开始

 $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver

【讨论】：