【发布时间】:2013-05-07 16:37:14
【问题描述】:
我正在尝试分析我的应用程序以查看是否可以重现 this blogpost。我在命令行中添加了 -D mapred.task.profile=true 并检查了它所采用的作业配置。
Hadoop: The Definitive Guide 表示配置文件信息将出现在我运行该作业的 Unix 目录中。我开始的目录有一个文件 attempt_201305011806_0042_m_000002_0.profile,这是正确的作业 ID,但没有映射器 #2(只有 1 个映射器,它没有失败)。输出只有配置文件中的标题信息;没有任何实际的分析信息。
Hadoop 文档说输出将在用户日志目录中,但我找不到任何东西。如果我进入映射器的任务日志,则“profile.out 日志”下的分析信息包含合法信息。我的 HDFS 输出目录根本没有分析信息。分析输出不应该在 HDFS 的某个地方吗?
此外,它仅在日志中提供基于文本的输出,但我发现的所有可视化配置文件的工具都采用二进制 hprof 格式。关于如何获取二进制配置文件或将基于文本的配置文件加载到 hprof 工具中的任何想法?
【问题讨论】:
-
你解决了吗?
-
不,在我弄明白之前,我们不得不因为其他原因关闭 Hadoop 集群。我会结束这个问题,但它可能对其他人有用。
-
好的,谢谢你的信息。