【问题标题】:Is using Kafka as an input source for Flink a performance bottleneck?使用 Kafka 作为 Flink 的输入源是否会成为性能瓶颈?
【发布时间】:2019-04-05 16:41:26
【问题描述】:

Flink 允许从 Kafka 主题中读取,这是否是导致 Flink 整体变慢的性能瓶颈?

【问题讨论】:

  • 这取决于您的用例。卡夫卡的替代品是什么?你需要有某种输入。

标签: apache-kafka apache-flink kafka-consumer-api


【解决方案1】:

Kafka 分区可以水平扩展以适应更高的吞吐量。

一个 Flink 消费者线程只能分配给一个 Kafka 分区。

所以,如果您只有 1 个 Kafka 分区和 N+1 Flink 执行器,那么您将有 N 空闲任务,这可能是一个瓶颈,当然,但这是在一个Kafka 主题,不一定是 Flink 的问题。

否则,您将创建具有十到数百个分区的 Kafka 主题,而 Flink 可以使用它。

【讨论】:

    【解决方案2】:

    这取决于。例如,如果您的 Kafka 集群和 Flink 集群之间的网络连接速度较慢,那么这将成为性能瓶颈。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2012-08-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-07-27
      相关资源
      最近更新 更多