Kafka Idempotent Producer 成为延迟瓶颈

Question

我们在 kafka 生产者中使用幂等生产者模式，因为我们希望数据只存储一次，并且在代理处无间隙且有序。这种速度会变慢，因为对代理的最大飞行请求只能是 5。此外，对于 2 min.insync.replicas 和幂等生产者，我看到在生产者所在的同一台机器上，100k 消息突发的平均延迟约为 20 毫秒到 30 毫秒，消费者和 kafka 代理正在运行。

关于如何在保持语义“精确一次、无间隙且有序”的同时改善延迟的任何建议。消息也是金融交易/报价消息，因此我们不希望任何数据丢失或空白。

Answer 1

对于我们的一个电信用例，数据量相当高，并且消息需要是唯一的，因此我们将数据转储到具有键列上的唯一索引的数据库中，并使用 kafka-connect 从源和进一步的业务逻辑中读取数据。

优点是您无需在处理前编写自定义逻辑来分析数据，并且可以保证消息的唯一性。