NiFi：从 Kafka 消费时过滤主题

Question

kafka中有一个批处理主题（Json内容）必须通过NiFi(version 1.8)消费。 我可以使用 consumekafkarecord 处理器来使用这个主题，但想根据属性值进行过滤 因为我不需要该主题的所有记录。

在消费kafka主题even before getting the records into NiFi的同时可以做过滤吗？像Processors 或Scripts 这样使用的最佳方法是什么？

我只是想根据其中一个属性值过滤掉大量不需要的记录。

Answer 1

据我所知，没有一种方法可以过滤 ConsumeKafkaRecord 中的记录，但您可以在该处理器之后轻松完成此操作。

一种选择是将其连接到 QueryRecord 处理器并编写一条 SQL 语句来选择您感兴趣的记录。

第二个选项是使用 PartitionRecord，它允许您根据记录路径表达式对记录进行分区。所以你可以说 field1 上的分区，如果有两个值，比如 A 和 B，那么它将产生两个流文件，一个包含 A 的所有记录，一个包含 B 的所有记录，然后你只需路由你感兴趣的那个进去，然后把另一个送进死胡同。