【问题标题】:Isolation Scheduler in Apache StormApache Storm 中的隔离调度程序
【发布时间】:2022-10-13 19:45:43
【问题描述】:

我已经定义了两个拓扑并在 Nimbus 中使用了 Isolation Scheduler。我已将以下配置分配给我的拓扑。

isolation.scheduler.machines:
 "Topology-Test1": 2
 "Topology-Test2": 3

现在,我想要Topology-Test2 没有工作。然后,所有 3 个节点都将分配给Topology-Test1。但是当流量来自Topology-Test2 时。然后,应将所有 3 个节点重新分配给 Topology-Test2。

在 Storm 中是否有可能实现这一目标?

【问题讨论】:

    标签: stream apache-storm isolation


    【解决方案1】:

    虽然 Storm 不直接支持直接的实现,但这里有两个指针可能会对您有所帮助:

    1. T-3 Scheduler:在本文中,我们提出了一种启发式调度算法——T3-Scheduler——用于异构雾或云集群,它可以有效地识别相互通信的任务并将它们分配给同一个节点,达到指定的利用率水平。节点。

    2. Resource Aware Scheduler: 也许你可以以某种方式劫持它。根据文档:Resource Aware Scheduler 可以基于每个用户分配资源。可以保证每个用户都有一定数量的资源来运行他或她的拓扑,并且资源感知调度程序将尽可能满足这些保证。当 Storm 集群有额外的空闲资源时,Resource Aware Scheduler 将能够以公平的方式为用户分配额外的资源。拓扑的重要性也可能不同。拓扑可用于实际生产或仅用于实验,因此资源感知调度程序将在确定调度拓扑的顺序或何时驱逐拓扑时考虑拓扑的重要性

      祝你好运找到你的策略。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-11-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-05-11
      相关资源
      最近更新 更多