【发布时间】:2018-12-10 23:49:33
【问题描述】:
假设我们有一个或多个运算符连接到一个键控流,并且我们期望每个键有多个键和重要的分区状态(就大小而言)。
是否可以影响 Flink 将调度每个操作员实例的任务管理器?在具有 n 个任务管理器和 m 个操作员实例的设置中,最坏的情况是这些 m 个实例中的多个(如果不是全部)最终只坐在 n 个任务管理器中的几个上,从而耗尽了可用资源。
【问题讨论】:
标签: apache-flink
假设我们有一个或多个运算符连接到一个键控流,并且我们期望每个键有多个键和重要的分区状态(就大小而言)。
是否可以影响 Flink 将调度每个操作员实例的任务管理器?在具有 n 个任务管理器和 m 个操作员实例的设置中,最坏的情况是这些 m 个实例中的多个(如果不是全部)最终只坐在 n 个任务管理器中的几个上,从而耗尽了可用资源。
【问题讨论】:
标签: apache-flink
目前,Flink 平等对待每个Task 和Slot。这意味着每个Task 都应该可以部署到每个Slot 中。这不仅显着简化了调度逻辑,而且还防止了用户通过指定不可满足的调度约束而使自己陷入困境。代价是用户无法控制Tasks 在一组可用插槽和TaskManagers 上的部署方式。
社区目前正在通过制作 Flink 的scheduler pluggable 来改进 Flink 的调度能力。通过这一更改,我们打算更好地控制 Flink 如何部署 Tasks。
【讨论】: