如果算子的并行实例总数高于 Flink 应用程序的并行度会怎样？

Question

如果算子的并行实例总数高于 flink 系统的并行度会怎样？

这是场景：

• 假设我有一个独立的 flink 应用程序，有 1 个 JobManager 和 1 个 TaskManager（有 5 个 CPU）
• 我已经设置了taskmanager.numberOfTaskSlots=5和parallelism.default=5
• 有 2 个数据源（假设有两个不同的 kafka 主题，每个主题有五个分区）
• 为所有运算符禁用链式策略
• 我的应用程序的数据流（我只有一项工作，其中包括两个 kafka 源）：

kafkaSource1.map(Mapper1).sink(sink1);
kafkaSource2.map(Mapper2).sink(sink1);

在以 5 并行部署此数据流后，TaskManager 是否会出现过载？

据我了解，Tasks 会像这样分散到 TaskManager 的插槽中：

• 如果这是正确的图表，则在此图表中，每个插槽都有 2 个不同的运营商实例。它将如何运作？它将以并行或顺序方式工作（首先是 kafka1->map1->sink1，然后是 kafka2->map2->sink1）
• 如果不正确，它将如何工作，任务将如何分配到插槽？

Answer 1

图表是正确的。如果禁用运算符链接，则每个插槽将包含 5 个任务，如图所示。每个任务都会有一个 Java 线程，它会一直阻塞在网络上，直到有输入要处理。所有这些任务都将独立并行运行。

但是，禁用运算符链接是一个非常糟糕的主意。您将为此付出很大的性能损失，因为它会导致在不需要的地方发生序列化/反序列化。 （另外，如果映射器只是简单地从 Kafka 进行反序列化，那么如果您使用适当的 KafkaDeserializationSchema 并消除映射器，您将获得更好的性能。）

任务管理器会超载吗？可能不会，前提是您对运算符链接等做出了正确的选择。我只会担心映射器正在做一些异常昂贵的事情。但这部分取决于您需要达到的吞吐量。