【问题标题】:Flink task scheduling for operators with huge state大状态算子的 Flink 任务调度
【发布时间】:2018-12-10 23:49:33
【问题描述】:

假设我们有一个或多个运算符连接到一个键控流,并且我们期望每个键有多个键和重要的分区状态(就大小而言)。

是否可以影响 Flink 将调度每个操作员实例的任务管理器?在具有 n 个任务管理器和 m 个操作员实例的设置中,最坏的情况是这些 m 个实例中的多个(如果不是全部)最终只坐在 n 个任务管理器中的几个上,从而耗尽了可用资源。

【问题讨论】:

    标签: apache-flink


    【解决方案1】:

    目前,Flink 平等对待每个TaskSlot。这意味着每个Task 都应该可以部署到每个Slot 中。这不仅显着简化了调度逻辑,而且还防止了用户通过指定不可满足的调度约束而使自己陷入困境。代价是用户无法控制Tasks 在一组可用插槽和TaskManagers 上的部署方式。

    社区目前正在通过制作 Flink 的scheduler pluggable 来改进 Flink 的调度能力。通过这一更改,我们打算更好地控制 Flink 如何部署 Tasks

    【讨论】:

    • 感谢您的快速回复和相应问题的链接。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-02-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多