Apache Flume-Kafka-Sink 生产者重复消息

Question

我们遇到了flume-kafka-sink、kafka 代理多次失败并产生重复消息（每 50 条记录相同）的奇怪问题，但有关 producer.sinks.r.request.required.acks = 1 的设置、kafka 文档的配额“此选项提供最低延迟但最弱的持久性保证（服务器出现故障时会丢失一些数据）”，不能产生重复数据吗？是指flume或flume-kafka-sink引起的问题吗？

Answer 1

Flume-Kafka-Sink 批量生成消息，并在写入失败后重试。在某些代理失败期间，某些分区领导者无法访问。批量写入时，有的partition成功，有的partition失败，Flume-Kafka-Sink重试时，成功的部分会重复。