分布式 Kafka Connect 主题配置答案

【问题标题】：Distributed Kafka Connect topic configuration分布式 Kafka Connect 主题配置
【发布时间】：2017-05-27 07:06:28
【问题描述】：

我遇到的问题是我的 Kafka Connect 工作器配置在节点重新启动后丢失。（http://broker:port/connectors/ -> 空数组）

现在我认为它可能与“retention.ms”配置有关。因为connect config也存储在“config.storage.topic”中，在“retention.ms”后会被删除？所以我必须设置一个非常高的“retention.ms”。这是正确的还是由 Kafka 自动管理的？（如果您自己创建主题）

其他两个主题怎么样： status.storage.topic - 只有当前状态信息，没那么重要？ offset.storage.topic

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

是的，这可能是。

“config.storage.topic”、“status.storage.topic”和“offset.storage.topic”都应该配置为“cleanup.policy=compact”（默认为“delete”）。使用此策略，保留时间将不起作用 - 我们将始终为每个连接器保留最新配置。

【讨论】：