kafka-connect 分布式工作者是否可以使用配置“cleanup.policy=compact,delete”的主题“connect-offset”工作

Question

我启动了一个 kafka-connect 分布式工作集群，它使用主题 connect-offset 进行偏移存储：

offset.storage.topic=connect-offset

由于为代理提供了默认策略“cleanup.policy=delete”，因此在使用“cleanup.policy=compact”创建主题时，我最终将获得该主题的“cleanup.policy=compact,delete”。导致kafka-connect工作进程抛出异常：

org.apache.kafka.common.config.ConfigException：通过“offset.storage.topic”属性提供的主题“slpe-connect-offset”需要具有“cleanup.policy=compact”以保证一致性和持久性源连接器偏移量，但发现该主题当前具有“cleanup.policy=compact,delete”。继续可能会导致最终丢失源连接器偏移量以及将来重新启动此 Connect 集群的问题。更改 Connect worker 配置中的“offset.storage.topic”属性以使用具有“cleanup.policy=compact”的主题。

问题：是否有任何 kafka-connect worker 配置允许吃这个异常来保持工作进程？虽然这是一个风险，但 delete 在达到保留或大小限制之前不会发生。

Answer 1

此验证是在 KAFKA-9216 (PR) 中引入的，影响 2.3.2、2.6.0、2.4.2、2.5.1 版本：

当前更改有助于防止用户使用已启用删除清理策略的主题运行 Connect，这将删除所有连接器配置、源偏移量以及早于保留时间的连接器和任务状态。这意味着，例如，长时间运行的连接器的配置可能会被代理删除，这将导致在后续重新平衡或重新启动 Connect 工作人员时出现重新启动问题。 连接行为要求其内部主题被压缩并且在保留一段时间后不被删除

因此，强烈不建议对 Kafka Connect 内部主题使用删除清理策略：只需重新创建这些主题即可。

没有任何配置属性可以忽略此验证，但如果需要，您可以将 Kafka Connect 降级到没有它的版本。