【问题标题】:Kafka connect - completely removing a connectorKafka connect - 完全删除连接器
【发布时间】:2022-11-18 08:19:51
【问题描述】:

我的问题分为两个。我读过Kafka Connect - Delete Connector with configs?。我想完全地删除一个连接器,偏移量和所有,所以我可以稍后用相同的名称重新创建它。这可能吗?据我了解,墓碑消息将无限期地终止此连接器。

第二部分是——有没有办法让 kafka-connect 容器在关闭时自动删除他创建的所有连接器? 谢谢

【问题讨论】:

    标签: apache-kafka apache-kafka-connect


    【解决方案1】:

    没有这样的命令可以完全清除连接器状态。对于接收器连接器,您可以使用kafka-consumer-groups 来重置它的偏移量。对于源连接器,它不是那么简单,因为您需要手动将数据生成到 Connect-managed offsets 主题中。

    配置和状态主题也保留历史数据,但不应阻止您重新创建具有相同名称/详细信息的连接器。

    Confluent 和 Debezium 发布的 Connect 容器始终使用分布式模式。您需要覆盖容器的入口点以使用独立模式不在 Kafka 主题中保留连接器元数据(这不是容错的,但可以用于测试)

    【讨论】:

    • 所以基本上不可能与源连接器重用相同的连接器名称?
    • 并非不可能,只是比简单的 HTTP 调用更难。我认为有一个 JIRA 可以完全清除 DELETE 调用中的连接器状态。
    猜你喜欢
    • 2018-08-03
    • 2019-06-09
    • 2021-01-13
    • 2019-06-17
    • 2020-08-05
    • 2019-04-24
    • 2020-08-26
    • 2020-01-15
    • 2019-07-15
    相关资源
    最近更新 更多