Kafka-python 生产者 enable.idempotent

Question

我正面临 kafka 中的重复数据，所以我想在 kafka-python 中使用幂等，但不幸的是它不是它的一部分，我如何在没有幂等的情况下停止同一分区中的重复数据或有任何方法导入它还是自定义当前库？ 提前致谢。

Answer 1

你最好使用 confluent_kafka，因为 kafka-python 不提供这个功能。看看这个link

producer = Producer({'bootstrap.servers': ‘localhost:9092’,
          'enable.idempotence': True})

此功能在 librdkafka（用 C 编写的库）的 1.0.0 版本中提供。