如何更新 Kafka Connect 连接器 com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceConnector 中的 Ack 参数？答案

【问题标题】：How to update Ack parameter in Kafka Connect connector com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceConnector?如何更新 Kafka Connect 连接器 com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceConnector 中的 Ack 参数？
【发布时间】：2022-02-03 23:41:08
【问题描述】：

我尝试使用这个 Kafka Connect 连接器：com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceConnector 在 Kafka 集群上公开 CSV 数据。

我没有看到关于 Acks here 的任何参数

但是在我创建连接器时的日志中我可以看到：

[2022-02-03 16:03:46,551] INFO ProducerConfig values:
acks = -1**
batch.size = 16384
bootstrap.servers = ...

我尝试在我的配置中设置 acks = 1 但它似乎不起作用。

{
        "name": "CsvSpoolDirAutoAck",
        "config": {
                "connector.class": "com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceConnector",
                **"acks": "1",**
                "tasks.max": "1",
                "halt.on.error": "true",
                "topic": "test-csv-auto2",
                "input.path": "/kafkadata/spool/tmp/input",
                "finished.path": "/kafkadata/spool/tmp/finished",
                "error.path": "/kafkadata/spool/tmp/error",
                "input.file.pattern": ".*\\.csv",
                "schema.generation.enabled":"true",
                "csv.first.row.as.header":"true",
                "csv.separator.char": 124
        }
}

我不想更新此 Kafka Connect 的“全局”配置，只需为我的 CSV 连接器更新此属性即可。

【问题讨论】：

标签： apache-kafka apache-kafka-connect kafka-producer-api

【解决方案1】：

只需为我的 CSV 连接器更新此属性。

从 Kafka Connect 2.3.0 开始，您可以添加

producer.override.acks

还可以看看 Connect worker 的 connector.client.config.override.policy

https://kafka.apache.org/documentation/#connect

【讨论】：