如何过滤Kafka中的数据？答案

【问题标题】：How to filter data in Kafka?如何过滤Kafka中的数据？
【发布时间】：2021-09-29 09:33:57
【问题描述】：

我的理解是我可以使用流过滤数据并将其放入特定主题。

问题： 生产者发送带有字段国家的数据。然后流处理过滤这些数据并按国家代码放入主题。

结果订阅特定国家（代码）的消费者会收到消息。

问题是它需要很多国家的主题。在功能中，我需要对国家/地区做同样的事情。

在Kafka中如何组织和过滤数据？

【问题讨论】：

【解决方案1】：

你有几个选择：

Kafka 流式传输：使用 kafka 流式传输，您可以根据需要过滤数据并将其写入新主题。消费者可以使用来自这些新主题的消息。

在消费者端过滤数据：您在消费者端使用数据并根据所需条件过滤数据。

对单独的国家代码使用单独的分区：您根据国家代码的数量定义该主题的总分区，并以国家代码为键。现在让您的消费者直接进入正确的分区以消费特定国家/地区的消息。

【讨论】：

谢谢，你写的第一点我现在用。所以我需要按国家数量划分的第三个分区。我想知道如何从消费者（python 脚本）到消费者（网络应用程序、移动应用程序）的 psuh 数据？
@Aurica 使用 Websockets 或将 Kafka 数据写入某种类型的数据库，您的 Web/移动客户端将通过某些 API 查询这些数据库
谢谢，如何正确决定使用什么，websoket 或 db（拉）。在哪里可以找到用例？
这可能对你有帮助 stackoverflow.com/questions/5792966/…, stackoverflow.com/questions/34706186/…