使用 Amazon MSK 和 Debezium SQL Server 连接器。获取相关 ID 为 7 的元数据时出错：{TestKafkaDB= UNKNOWN_TOPIC_OR_PARTITION}答案

【问题标题】：Using Amazon MSK and Debezium SQL Server Connector. Error while fetching metadata with correlation id 7 : {TestKafkaDB= UNKNOWN_TOPIC_OR_PARTITION}使用 Amazon MSK 和 Debezium SQL Server 连接器。获取相关 ID 为 7 的元数据时出错：{TestKafkaDB= UNKNOWN_TOPIC_OR_PARTITION}
【发布时间】：2021-10-09 01:00:24
【问题描述】：

我试图将我的 RDS MS SQL 服务器与 Debezium SQL Server 连接器连接，以将更改流式传输到 Amazon MSK 上的 Kafka 集群。

我配置了连接器，Kafka Connect 工作人员很好地运行了 Connect bin/connect-standalone.sh ../worker.properties connect/dbzmmssql.properties

得到WARN [Producer clientId=producer-1] Error while fetching metadata with correlation id 10 : {TestKafkaDB=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient:1031)

【问题讨论】：

标签： apache-kafka apache-kafka-connect debezium

【解决方案1】：

我已经解决了这个问题，只是想与其他 Kafka 新手分享我可能的解决方案。

TestKafkaDB=UNKNOWN_TOPIC_OR_PARTITION 基本上意味着连接器在 Kafka 代理中没有找到可用的主题。我面临这个问题的原因是 Kafka 代理没有自动为流创建新主题。

为了解决这个问题，我在 AWS MSK 控制台中更改了集群配置，将 auto.create.topics.enable 从默认的 false 更改为 true 并将此配置更新到集群，然后我的问题就解决了。

【讨论】：

建议禁用自动创建主题，而是在创建源连接器之前创建主题
自动主题创建，阅读this reference