Debezium 初始数据快照和相关实体顺序

Question

第一次启动后，Debezium 将对已有数据进行初始数据快照。

假设我有两张桌子 - A 和 B。表 B 对 A 有 NOT NULL FK 约束。根据 Debezium 默认方法 - Debezium 将为来自表 A 和 B 的数据创建两个单独的 Kafka 主题。

据我了解，我很有可能会尝试在新表B 中创建记录，而适当的记录A 将不会出现在适当的新表A 中。这样我就会遇到违反约束的错误。

我是否需要使用一些内部 3rd 方缓冲区并自己组织插入接收器数据库的正确顺序，或者 Debezium 中有一些标准机制来处理这种情况？

例如 - 我可以使用 Debezium 主题路由 https://debezium.io/documentation/reference/configuration/topic-routing.html 来解决此类问题吗？我可以潜在地将主题路由配置为将所有相关事件（来自我上面示例中的表 A 和 B）发送到同一主题。对于具有单个分区的 Kafka 主题，必须以正确的方式对所有事件进行排序。它会起作用吗？这样我会为初始快照数据加载获得正确的相关实体顺序吗？

Answer 1

IBM IDR（数据复制）产品通过一种解决方案解决了这个问题，该解决方案允许只使用一次语义并重新创建事务中的操作顺序和事务顺序。

Kafka 内置的恰好一次功能具有一些超出性能的限制，您不会固有地通过操作对事务进行重新排序，这对于应用引用完整性约束之类的事情很重要。

因此，在我们的产品中，我们有一个适当的穷人解决问题的方法。穷人的是将所有表的所有数据发送到一个主题。显然这是次优的，但如果您这样做，我们的产品将从单个生产者按操作顺序生成数据。您可能希望使用幂等性来避免批次出现乱序。

现在解决此问题的专业级方法是称为 TCC（事务一致性消费者）的功能。

我不确定您是否需要企业级解决方案的性能和功能。

如果这是一个非关键项目，您可能会发现以下讨论对我们如何交付您正在寻找的功能很有用。

https://www.confluent.io/kafka-summit-sf18/a-solution-for-leveraging-kafka-to-provide-end-to-end-acid-transactions/

这是我们关于该功能的文档以供参考。

https://www.ibm.com/support/knowledgecenter/en/SSTRGZ_11.4.0/com.ibm.cdcdoc.cdckafka.doc/concepts/kafkatcc.html

这应该提供背景，说明为什么这个问题难以解决，以及解决方案的内容。