在特定时间范围内消费 Kafka 主题答案

【问题标题】：Consume Kafka topic in specific time range在特定时间范围内消费 Kafka 主题
【发布时间】：2021-07-13 14:39:20
【问题描述】：

我想使用 java 在特定时间范围内使用主题中的数据。你有什么办法吗？

【问题讨论】：

【解决方案1】：

请注意，Kafka 主题主要用于包含数据流（连续且未绑定），因此没有开箱即用的方法来解决您的问题。

但是，您可以使用 KafkaConsumer 方法 offsetsForTimes，例如描述了here 将时间戳（开始和结束）转换为等效的偏移量。

拥有这些偏移量，您可以让您的消费者从开始偏移量开始变红，并在到达结束偏移量时停止。

【讨论】：

迈克，感谢您的快速回答。我得到了它。其实我和你想的一样。因此，我需要在时间范围内获取大型 JSON 数据的快照。实时并不重要。时间范围大部分时间都在变化。你有什么想法可以简化吗？
很高兴它有帮助。不确定我是否理解正确，但为什么不将 JSON 字符串放入一个简单数据库的列中，将该 json 的时间放在另一列中，然后根据时间范围查询所有相关的 json 字符串？