Debezium - MySQL 从连接偏移量手动更改 binlog 位置答案

【问题标题】：Debezium - MySQL manually change binlog position from connect-offsetsDebezium - MySQL 从连接偏移量手动更改 binlog 位置
【发布时间】：2020-04-19 09:11:57
【问题描述】：

我有一个正在运行的 debezium 设置，用于从 MySQL 执行 CDC。现在我想为另一个 MySQL 服务器再创建一个 MySQL 连接器。但我不想要现有数据的快照，我想从特定文件和位置启动 debezium 新连接器。

我从 stackoverflow 阅读了一些问题，他们告诉手动将记录插入到 connect-offsets 主题。但是如果我这样做，我现有的设置会发生什么？
在测试服务器上，我尝试设置上述解决方案，但无法正常工作。

kafka-console-producer --broker-list localhost:9092 --topic connect-offsets
>{"file":"mysql-bin.000002","pos":2012}
>[2019-12-30 05:43:52,666] WARN [Producer clientId=console-producer] Got error produce response with correlation id 4 on topic-partition connect-offsets-5. Error: CORRUPT_MESSAGE (org.apache.kafka.clients.producer.internals.Sender)
[2019-12-30 05:43:52,767] WARN [Producer clientId=console-producer] Got error produce response with correlation id 5 on topic-partition connect-offsets-5, Error: CORRUPT_MESSAGE (org.apache.kafka.clients.producer.internals.Sender)
[2019-12-30 05:43:52,870] WARN [Producer clientId=console-producer] Got error produce response with correlation id 6 on topic-partition connect-offsets-5, Error: CORRUPT_MESSAGE (org.apache.kafka.clients.producer.internals.Sender)
[2019-12-30 05:43:52,975] ERROR Error when sending message to topic connect-offsets with key: null, value: 38 bytes with error: (org.apache.kafka.clients.ingCallback)
org.apache.kafka.common.errors.CorruptRecordException: This message has failed its CRC checksum, exceeds the valid size, has a null key for a compacted to.

我不确定如何实现这一点。有人可以帮我吗？

【问题讨论】：

标签： mysql apache-kafka debezium

【解决方案1】：

Connect-offsets 主题记录用于连接器偏移管理，对于 Debezium MySQL 连接器，该主题中的记录具有包含连接器名称和您在连接器配置下配置的 MySQL 服务器名称的键。

因此，如果您想在该主题中生成记录，那么您也需要该密钥，然后 Debezium 连接器才能读取这些偏移量。

【讨论】：