有没有办法限制应用程序主机在特定节点上启动？

Question

我有一个集群设置，其中的节点不可靠并且可能出现故障（它们是 aws 现货实例）。我试图确保我的应用程序主机只在集群的可靠节点（aws on demand 实例）上启动。有相同的解决方法吗？我的集群由 hortonworks ambari 管理。

Answer 1

这可以通过使用节点标签来实现。我能够使用 spark.yarn.am.nodeLabelExpression 中的属性来限制我的应用程序主节点到一组节点，同时在纱线上运行火花。将节点标签添加到您要用于应用程序主节点的任何节点。