【问题标题】:Hadoop profile output - where and what?Hadoop 配置文件输出 - 在哪里和什么?
【发布时间】:2013-05-07 16:37:14
【问题描述】:

我正在尝试分析我的应用程序以查看是否可以重现 this blogpost。我在命令行中添加了 -D mapred.task.profile=true 并检查了它所采用的作业配置。

Hadoop: The Definitive Guide 表示配置文件信息将出现在我运行该作业的 Unix 目录中。我开始的目录有一个文件 attempt_201305011806_0042_m_000002_0.profile,这是正确的作业 ID,但没有映射器 #2(只有 1 个映射器,它没有失败)。输出只有配置文件中的标题信息;没有任何实际的分析信息。

Hadoop 文档说输出将在用户日志目录中,但我找不到任何东西。如果我进入映射器的任务日志,则“profile.out 日志”下的分析信息包含合法信息。我的 HDFS 输出目录根本没有分析信息。分析输出不应该在 HDFS 的某个地方吗?

此外,它仅在日志中提供基于文本的输出,但我发现的所有可视化配置文件的工具都采用二进制 hprof 格式。关于如何获取二进制配置文件或将基于文本的配置文件加载到 hprof 工具中的任何想法?

【问题讨论】:

  • 你解决了吗?
  • 不,在我弄明白之前,我们不得不因为其他原因关闭 Hadoop 集群。我会结束这个问题,但它可能对其他人有用。
  • 好的,谢谢你的信息。

标签: java hadoop mapreduce


【解决方案1】:

我注意到有一个空格

-D mapred.task.profile=true

这是一个错字吗?如果是,只需将其删除,看看会发生什么。此外,您应该能够在用户日志目录下看到分析器文件,这通常是您运行作业的位置。 此外,hprof 是 hadoop 的默认值,因此请检查您是否没有用

覆盖它
-Dmapred.task.profile.params

【讨论】:

    猜你喜欢
    • 2014-02-17
    • 1970-01-01
    • 2022-01-03
    • 2019-07-01
    • 1970-01-01
    • 2017-10-19
    • 2015-05-25
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多