【问题标题】:Enable kafka source connector idempotency启用 kafka 源连接器幂等性
【发布时间】:2021-04-26 16:59:44
【问题描述】:

如何启用 Kafka 源连接器幂等性功能?

我知道在 confluent 中我们可以通过工作配置中的 producer.* 属性覆盖生产者配置,但是 Kafka 本身呢?是一样的吗?

设置这些配置后,我在哪里可以看到我的连接工作人员应用的配置?

【问题讨论】:

    标签: apache-kafka apache-kafka-connect


    【解决方案1】:

    Confluent 不会修改基本的 Kafka Connect 属性。

    Kafka源任务使用的生产者和Kafka接收器任务使用的消费者的配置,可以使用相同的参数,但需要以生产者为前缀。和消费者。分别

    从 2.3.0 开始,可以使用前缀 producer.override 为每个连接器单独配置客户端配置覆盖。和消费者。覆盖。分别用于 Kafka 源或 Kafka 接收器

    https://kafka.apache.org/documentation/#connect_running

    但是,Kafka Connect 源不是幂等的 - KAFKA-7077KIP-308

    设置这些配置后,我在哪里可以看到我的连接工作人员应用的配置

    在日志中,任务开始时应该显示ProducerConfigConsumerConfig

    【讨论】:

      猜你喜欢
      • 2019-11-08
      • 2019-05-23
      • 2020-06-23
      • 2021-02-25
      • 2017-10-12
      • 1970-01-01
      • 2020-02-13
      • 2020-08-05
      • 2018-03-16
      相关资源
      最近更新 更多