使用带 MSK 的 Debezium MySQL 连接器显示“INVALID_REPLICATION_FACTOR”答案

【问题标题】：Using Debezium MySQL connector with MSK shows "INVALID_REPLICATION_FACTOR"使用带 MSK 的 Debezium MySQL 连接器显示“INVALID_REPLICATION_FACTOR”
【发布时间】：2021-07-24 22:39:25
【问题描述】：

我正在使用带 MSK 的 Debezium MySQL，设置非常简单。与 MySQL (Aurora) 的连接测试良好。 Kafka主题创建，列表都可以。

但是，当我运行连接器时，经过大量滚动信息后，我得到了

WARN [Producer clientId=xxx] Error while fetching metadata with correlation id 1 : {xxx.xxx=INVALID_REP
LICATION_FACTOR} (org.apache.kafka.clients.NetworkClient:1100)

其中很多不断出现，连接器无法正常工作。

【问题讨论】：

标签： apache-kafka debezium aws-msk

【解决方案1】：

一段时间后，我发现这是因为 MSK 上的默认 replication factor 设置遵循 Kafka 最佳实践 3，但我只创建了 2 个代理。

配置保持3，当连接器尝试自动创建具有 3 个副本的主题时，它失败了。奇怪的是，即使我手动创建了复制因子为 2 的主题，连接器也会抛出相同的警告。

似乎内部主题总是由 Debezium 连接器尝试。

创建一个新的修订版并将复制因子设置为 2 解决了这个问题。

【讨论】：