【发布时间】:2021-04-26 16:59:44
【问题描述】:
如何启用 Kafka 源连接器幂等性功能?
我知道在 confluent 中我们可以通过工作配置中的 producer.* 属性覆盖生产者配置,但是 Kafka 本身呢?是一样的吗?
设置这些配置后,我在哪里可以看到我的连接工作人员应用的配置?
【问题讨论】:
标签: apache-kafka apache-kafka-connect
如何启用 Kafka 源连接器幂等性功能?
我知道在 confluent 中我们可以通过工作配置中的 producer.* 属性覆盖生产者配置,但是 Kafka 本身呢?是一样的吗?
设置这些配置后,我在哪里可以看到我的连接工作人员应用的配置?
【问题讨论】:
标签: apache-kafka apache-kafka-connect
Confluent 不会修改基本的 Kafka Connect 属性。
Kafka源任务使用的生产者和Kafka接收器任务使用的消费者的配置,可以使用相同的参数,但需要以生产者为前缀。和消费者。分别
从 2.3.0 开始,可以使用前缀 producer.override 为每个连接器单独配置客户端配置覆盖。和消费者。覆盖。分别用于 Kafka 源或 Kafka 接收器
https://kafka.apache.org/documentation/#connect_running
但是,Kafka Connect 源不是幂等的 - KAFKA-7077 和 KIP-308
设置这些配置后,我在哪里可以看到我的连接工作人员应用的配置
在日志中,任务开始时应该显示ProducerConfig 或ConsumerConfig
【讨论】: