如何设置kafka connect auto.offset.reset 与rest api答案

【问题标题】：how to set kafka connect auto.offset.reset with rest api如何设置kafka connect auto.offset.reset 与rest api
【发布时间】：2021-06-11 01:31:52
【问题描述】：

我创建了一个接收器 kafka 连接，将数据转换到其他存储；当使用kafka connect rest api 创建新连接器时，我想将auto.offset.reset 设置为latest；我在配置中设置了consumer.auto.offset.reset: latest；

json { "name": "test_v14", "config": { "name": "test_v14", "consumer.auto.offset.reset": "latest", "connector.class": "...", ... } }

但是当任务开始时，kafka消费者仍然从最早轮询记录；将auto.offset.reset 设置为最新的任何其他方法也是如此；

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

在 Kafka 2.3 之前

consumer.auto.offset.reset 需要在connect-distributed.properties 文件（Worker）中设置。

它不能应用于任何特定的连接器，除非该连接器类显式地创建和加载它自己的读取该属性的消费者对象。

【讨论】：

感谢您的回复；
这个答案不再正确，从 Apache Kafka 2.3 开始。
@RobinMoffatt 但这应该对 Kafka
@mad_ 确保您拥有 Robin 的答案中列出的两个属性。否则，请使用您的完整连接器属性文件创建一个新帖子

【解决方案2】：

从 Apache Kafka 2.3 开始，现在可以将其设置为连接器配置的一部分。

在 worker 集合上：

connector.client.config.override.policy=All

然后在连接器中可以指定

"consumer.override.auto.offset.reset": "latest"

【讨论】：