Yarn Scheduler 负载模拟器 - fair-scheduler答案

【问题标题】：Yarn Scheduler Load Simulator - fair-schedulerYarn Scheduler 负载模拟器 - fair-scheduler
【发布时间】：2018-10-06 08:06:32
【问题描述】：

我想对我的公平调度程序配置进行性能分析，我发现了这个工具 - “YARN Scheduler Load Simulator (SLS)”，我相信它可以帮助我。我已按照文档设置 YARN SLS 以运行示例作业跟踪。

但我无法弄清楚如何使用此工具准确监控调度程序的行为。它运行并显示我输入的示例作业跟踪的调度程序行为，即使没有公平调度程序配置。

如果有人能指出我如何配置 YARN SLS 以使用我的 fair-scheduler.xml，以及如何监控调度程序模拟（或者更好的是，寻找什么）的见解，那将是真的对我有帮助。

谢谢！

【问题讨论】：

你看过用户界面了吗？它非常清楚地显示了集群的利用率。
就像我说的，我能够启动 YARN SLS。是的，我也可以查看 UI 仪表板。问题是我没有在 Hadoop conf 目录中放置任何调度程序配置以供模拟使用。但它仍然运行我在各个队列中给出的作业跟踪。我的问题是，如何配置 SLS 以使用我的公平调度程序配置？如何使用 YARN SLS 分析调度程序队列资源使用情况？还是只是 SLS 仪表板中可用的信息而没有其他信息？ :)
您应该只需将它放在您的 Hadoop conf 目录下。如果您配置了--output-dir，您应该会获得从 SLS 运行生成的所有指标。

【解决方案1】：

我假设您已经编译了自己的 Hadoop 版本。否则，我认为您无法运行 FAIR 的实施。

如果我没记错的话，SLS 正在模拟关于yarn-site.xml 提供的配置的调度程序。因此，您应该在此处定义要使用的调度程序类型。

【讨论】：