主题中的kafka搜索文本答案

【问题标题】：kafka search text in topic主题中的kafka搜索文本
【发布时间】：2019-07-06 06:14:07
【问题描述】：

我想搜索kafka主题中的特定消息，我发现的唯一解决方案是使用grep

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning |grep 'world\|hello'

【问题讨论】：

我使用这个工具github.com/fgeller/kt它允许在阅读主题时进行各种偏移操作。 Grep 是我的做法。
如果您正在执行过滤类型的操作，请使用 Streams API。如果您真的想使用所有消息，请使用 Consumers API。您不应根据偏移量执行操作。发送第 1000 条消息的生产者不一定位于分区中的第 1000 个偏移量。 stackoverflow.com/questions/54544074/…stackoverflow.com/questions/54636524/…

【解决方案1】：

有没有有效的方法？

如果您没有消息密钥，则没有。

如果你这样做了，那么你可以计算一个 Murmur2 散列并找到分区号，然后只扫描那个分区号，仍然使用 --partition 进行搜索

有没有办法可以用特定的偏移量来限制消费者，这意味着从头开始读取直到达到特定的偏移量？

你可以给--max-messages

如果您不想总是从头开始，请添加 --group 并使用 max messages 参数继续运行相同的命令。这将允许使用相同的消费者组，并在完成后提交偏移量

你也可以手动提交偏移量，从使用kafka-consumer-groups命令开始

【讨论】：

【解决方案2】：

有没有有效的方法？

是的。您的解决方案是快速而肮脏的解决方案。如果要过滤数据，请使用 Streams API 并在另一个主题上编写过滤信息。 https://kafka.apache.org/documentation/streams/

【讨论】：