【发布时间】:2019-04-05 16:41:26
【问题描述】:
Flink 允许从 Kafka 主题中读取,这是否是导致 Flink 整体变慢的性能瓶颈?
【问题讨论】:
-
这取决于您的用例。卡夫卡的替代品是什么?你需要有某种输入。
标签: apache-kafka apache-flink kafka-consumer-api
Flink 允许从 Kafka 主题中读取,这是否是导致 Flink 整体变慢的性能瓶颈?
【问题讨论】:
标签: apache-kafka apache-flink kafka-consumer-api
Kafka 分区可以水平扩展以适应更高的吞吐量。
一个 Flink 消费者线程只能分配给一个 Kafka 分区。
所以,如果您只有 1 个 Kafka 分区和 N+1 Flink 执行器,那么您将有 N 空闲任务,这可能是一个瓶颈,当然,但这是在一个Kafka 主题,不一定是 Flink 的问题。
否则,您将创建具有十到数百个分区的 Kafka 主题,而 Flink 可以使用它。
【讨论】:
这取决于。例如,如果您的 Kafka 集群和 Flink 集群之间的网络连接速度较慢,那么这将成为性能瓶颈。
【讨论】: