延迟 Kafka 主题中的一些记录

Question

我有一个消费者项目，它使用来自 Kafka 主题的数据。该流中 90% 的数据可以实时处理，但对于特定记录 (~10%)，我需要延迟处理。

我是否应该在同一个 JVM 中有两个独立的消费者并在一个消费者中消费 90% 的记录并忽略 10% 并让其他消费者处理它或将 10% 的消息推送到另一个主题并延迟处理其他话题？

如果我可以有一个消费者和两个检查点机制，一个用于 90%，另一个延迟 10%，但 Kafka 客户端似乎不支持这个用例，那就太好了。这将帮助我避免任何不必要的反序列化和网络 IO。

Answer 1

单个消费者不可能有多个检查点 - 使用两个消费者或两个主题。

• 两个消费者的一个问题是所有消息将被读取两次，而不是在完全相同的时间，这提出了知道消息何时是历史消息以及何时不是历史消息的问题：如果今天处理的消息是一位消费者在 23:59:59 阅读，另一位消费者在 00:00:01 阅读（与相对时间相同的问题）。您可以使用一些滞后和监控滞后来防止此问题。

• 将您的数据分成两个主题。您可以为此使用 kafka 流或任何其他流处理工具。例如，您的events 主题将被处理并分为两个主题historical-events 和realtime-events。你仍然会有两个消费者，但不是在同一个主题上。正如您所提议的，您也可以只使用您的 events 主题，处理即时数据并将历史数据发送到另一个主题（因此您有两个主题而不是三个，并且提交的偏移量没有问题） - 但这意味着更多的 IO流程客户端，以及客户端的两个职责

  由于您只有一个消费者阅读来自基本主题的每条消息，因此它将始终是最近的或历史的，因此您不会遇到上一个问题。

• 只有一个消费者会相应地处理消息，但正如您所指出的，偏移提交存在问题，并且考虑到您的历史批次，可能会使用大量 RAM。关于偏移量提交，您可以简单地存储（在其他 kafka 压缩主题中与 _consumer_offset 相同）关于您的历史或当前偏移量的最后一个偏移量，并且在重新启动时，从您的历史批次恢复，并忽略所有“最近”数据直到达到正确的偏移量。这是可能的，但是使用更多的内存，而且更麻烦。

您的选择很大程度上取决于您遇到的问题（IO、RAM，只要有正确的行为）。从一开始就分成两个主题可能是最容易实现的，可以在一个单独的进程中完成，有效地分离每个进程的职责，并且将对处理客户端的影响降到最低。