以偏移量的倍数读取 Kafka 主题

Question

假设我在单个 Kafka 分区中有一个主题 (t)，并且消费者组 (X) 中的单个消费者正在消费主题 t。另外，假设消息排序，没有分区切换。

现在我想读取多个偏移量的主题，而不需要我管理消费者偏移量（我想要自动提交）例如以下是topic stream with [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ...] offsets and I want to set up consumer such that it reads only messages at multiple of 2, my consumer except for topic stream like 0, 2, 4 ....

当然，我可以根据偏移量在我的应用程序级别进行过滤，但如果有其他方法，我不想这样做。

为什么我要在流量高于预期的情况下进行此成像（产生更多消息），但我们不想错过 2 个偏移量的倍数的执行（消费者）SLA（不知何故，我们知道这对我们很重要），所以我们可以跳过其他，只阅读 2 的倍数。是的，拆分（不同的主题）是选项。

Answer 1

如果有其他方法，我不想这样做。

不幸的是，没有其他方法。您的消费者正在轮询成批的连续消息，因此如果您的“流量高于预期”，您最终几乎总是会一次收到超过 1 条消息

如果你真的想要这样的东西，创建一个包含两个分区的主题，使用 null 键生成事件，然后只从其中一个分区消费