SQL Server CDC - Debezium Kafka 特定日期的快照

Question

我们正在 MSSQL 中的特定表上启用 CDC。我们正在通过MSSQL->CDC->DEBEZIUM->KAFKA_CONNECT 连接到迁移数据的管道

有一个表有超过一百万行，但我们只需要将表中的几千行包含在启用 CDC 时创建的快照中。 我不想在我们的 Kafka-Consumer 中处理它的原因是，虽然我只需要将 1% 的数据写入 Mongo，但剩下的 99% 将毫无用处地打击消费者。

---

问题：

1. 是否可以在启用 CDC 时创建特定行/视图的快照。我需要具有 column_value(modified date)> 特定日期的行？
2. 这是不是太多的微优化，我会让一切都进入管道并被消费者拒绝？

Answer 1

您可以使用Kafka Connect Single Message Transform (SMT)。更准确地说，您需要Filter SMT：

filter.condition 是一个谓词，指定 JSON 路径，即 应用于处理的每条记录，以及当此谓词成功时 匹配记录要么被包含（当filter.type=include）或 排除（当filter.type=exclude）

---

在您的情况下，您可以包括满足您所需条件的行：

transforms=filter-records
transforms.filterExample1.type=io.confluent.connect.transforms.Filter$Value
transforms.filterExample1.filter.condition=$.value[?(@.modified_date > "1/1/2020")]
transforms.filterExample1.filter.type=include
transforms.filterExample1.missing.or.null.behavior=fail

---

或者，您可以决定排除哪些行：

transforms=filter-records
transforms.filterExample1.type=io.confluent.connect.transforms.Filter$Value
transforms.filterExample1.filter.condition=$.value[?(@.modified_date <= "1/1/2020")]
transforms.filterExample1.filter.type=exclude
transforms.filterExample1.missing.or.null.behavior=fail