计算reducers hadoop花费的时间

Question

我在单节点集群中的 Hadoop 2.7.3 中运行 MapReduce 作业。如何计算这个job的map和reduce任务所花费的时间？

已解决 如果它可以帮助任何查看此问题或面临类似问题的人。 感谢@Shubham 的回答和我所做的一些研究：

1. 已在 hadoop 2 中删除作业跟踪器。它已分为资源管理器和应用程序主控器。
2. 要访问资源管理器，请在浏览器中输入 URL“http://localhost:8088”
3. 要访问作业历史服务器（查看有关已完成的应用程序和作业的统计信息），请在浏览器中输入 URL“http://localhost:19888”

您在尝试访问 Job History Server 时可能会遇到错误。它可能表明该应用程序没有历史记录。在这种情况下，请按照以下步骤操作：

1. 更改 bashrc 文件

步骤：

i. In your terminal, type "nano ~/.bashrc"
ii. Now in this file, where the other hadoop variables are written add the line
    export HADOOP_CONFIG_DIR=/usr/local/hadoop/etc/hadoop
iii. Exit out of nano and save the file.
iv. Run the command "source ~/.bashrc"

1。启动作业历史服务器

步骤：

i. Run the command in your terminal
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONFIG_DIR start historyserver
ii. Then run the command 
    jps
You should be able to see the "JobHistoryServer" in the list
iii. Now run the command
netstat -ntlp | grep 19888

Answer 1

点击资源管理器的 Web UI(http://rm_http_address_host:port/)。通常网络端口是 8088。您可以为此点击http://resourcemanager_host:8088/。
在那里，您将找到所有处于各种状态的应用程序的链接，例如已启动、运行、失败、成功等
单击每个应用程序的链接将为您提供有关该纱线作业的所有统计信息（如容器数量（在 mapreduce 的情况下为映射器/reducer）、使用的内存/Vcore、运行时间和更多统计信息）。

ResourceManager REST API 公开了许多统计信息。 在这里找到它们https://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

Answer 2

您可以转到 jobtracker（默认在端口 50030 上运行）并检查作业详细信息。它显示了映射时间和减少时间的计数器。此外，如果您对个别任务感兴趣，您可以点击“分析此工作”链接，其中显示了最佳和最差执行任务。