分析猪查询答案

【问题标题】：Profiling Pig Query分析猪查询
【发布时间】：2012-04-28 11:18:45
【问题描述】：

我正在尝试分析猪查询，但到目前为止还没有任何有用的东西。

我正在尝试测量 CPU、磁盘 I/O、RAM 使用率。

有人可以指导我吗？

目前尝试过的事情

Starfish - 适用于 Hadoop 作业，但不适用于 Pig - 不支持猪查询

Hprof - 适用于 Hadoop 作业，但不适用于 Pig 查询。 - 仅为 Hadoop 作业生成配置文件

Hadoop 和 pig 作业都在同一个集群中执行。

感谢阅读！！

【问题讨论】：

【解决方案1】：

您可以使用 JXInsight/Opus（免费）获取一些延迟数据，并在执行查询之前标记或标记集群，然后在作业完成后拍摄快照。

我们将推出适用于各种大数据平台（包括 Cassandra、Hadoop、Pig 等）的 JXInsight/Opus for X 版本。

如果您需要更多功率和更多仪表（cpu、io、...），您可以随时查看 JXInsight/OpenCore 产品。

【讨论】：

【解决方案2】：

您可以在 pig 生成的 MR 作业上使用 hprof 或其他分析工具。见https://cwiki.apache.org/confluence/display/PIG/HowToProfile

【讨论】：

感谢您提供此信息。早些时候我尝试过 Hprof，但它只为 hadoop 作业生成配置文件，而不为 pig 查询生成配置文件。您提供的链接还有其他一些看起来很有趣的选项。我会试一试，然后告诉你结果。
非常感谢 user617093。这对我有用。由于这里的积分系统，我无法投票赞成这个答案。但这对我有用。再次感谢！！