在kafka connect中按某个值过滤记录答案

【问题标题】：Filter the records by a certain value in kafka connect在kafka connect中按某个值过滤记录
【发布时间】：2020-05-27 15:14:56
【问题描述】：

我一直在尝试找到一种方法，在 debezium 源 sql 连接器中包含一个过滤器，该过滤器会丢弃具有特定值的记录。可以说，我有 JSON：{“id”：0，“name”：“muj”}，我想丢弃所有字段“name”值为“muj”的记录。有没有办法在不使用融合平台的情况下做到这一点？

【问题讨论】：

【解决方案1】：

您可以使用 Kafka Connect 转换的 filter 功能。过滤器功能允许包含或排除与谓词匹配的记录。请参阅transforms/filter 文档和示例。

【讨论】：

需要confluent hub客户端，这里不需要confluent
@MujtabaFaizi 它没有。它只是一个 jar 文件，您可以从 confluent.io/hub/confluentinc/connect-transforms 下载并放置在连接器目录中。
@Muj 澄清一下，客户端所做的只是提供一种从 Confluent 站点下载和提取插件的方法，并以编程方式设置您自己的 Kafka Connect 安装。它不需要 Confluent Platform 的任何部分

【解决方案2】：

有没有办法做到这一点而不必使用融合平台

Confluent 不是 Kafka 的特殊版本。他们所有的工具都可以与您自己的 Kafka 安装一起使用。

您可以单独使用 ksql 或 Kafka Streams，但 IMO，Debezium 不应该过滤任何内容，它旨在读取原始 CDC 事件。任何此类过滤都应在处理逻辑的下游完成

【讨论】：