Hadoop JobTracker UI 托管

Question

我们有一个小型 Hadoop 集群，其中 JobTracker 被配置为动态的（从一个节点移动到另一个节点）。我们希望通过通用 WebUI（Hadoop MapReduce Job Tracker）而不是通过命令行，让数据、日志文件和交互更加公开可用。
实现思路是让 hadoop 集群中的所有节点都打开其 Web 端口以进行出站，并为所有节点创建一个公共 DNS 别名，以便对 JobTracker 节点进行持续引用。这是最佳做法吗？也有兴趣安装最终用户可以访问的前端插件，例如 Apache Hue (http://www.gethue.com)。

我知道有一种使 JobTracker 成为静态的功能，这将解决这个问题，但可能会引入其他问题 - 但我确信通过制作专用节点，它消除了一些 hadoop 预期目的和集群节点的功能。

了解如何从战略上最好地为管理员和最终用户部署一致且可访问的 URL。

Answer 1

Hue 支持 JT HA，因此您可以列出可能的 jobtrackers 主机/端口，Hue 会选择有效的。

但是，最好的情况是每次重新配置并重新启动 Hue 时使用新主机名更新 hue.ini。

显然，如果使用 Cloudera Manager 重新配置集群，它也会自动更新 Hue。