如何使用 Kafka 在 Spring Cloud Stream 中设置幂等生产者？

Question

我想利用 Kafka 0.11 中引入的幂等生产者。根据这个Confluent blog post，添加了一个新属性来支持这个：

幂等性：每个分区的顺序语义恰好一次

启用此功能并获得每一次的语义 分区——意味着没有重复、没有数据丢失和有序 语义——将您的生产者配置为设置“enable.idempotence=true”。

重点是 Spring Cloud Stream 和 Spring Kafka 都没有记录该属性的使用。我们如何在 Spring Cloud Stream 应用程序中配置它？

Answer 1

可以使用spring.cloud.stream.kafka.bindings.<channel>.producer.configuration 设置任意kafka 属性，如documented here。

所以，只需在此处设置属性即可。

当然，您需要覆盖默认的 kafka binder 才能使用 kafka11 工件，如 Ditmars 发布火车 release notes 中所述。

kafka11 binder 也支持事务。