如何使用 KAFKA 在消费者中自动进行负载平衡

Question

这是我的任务：

file_1：[task_1_1，task_1_2，...]

file_2：[task_2_2，task_2_2，...]

...

file_n: [task_n_1, task_n_2, ...]

现在我想按顺序运行文件任务（可以同时处理不同文件的任务）。我应该如何设计 KAFKA 主题或分区来实现这一点，或者您是否有其他 MQ 选项可供我选择：

1. 每个消费者进程都是无状态的。
2. 每个任务将至少处理一次。
3. 在消费者进程被杀死、重启或添加新进程后，它会自动进行负载平衡。

我们将不胜感激。

Answer 1

这些问题在 Kafka 文档中得到了很好的解决。您提出的一些问题是您可以阅读的基本 Kafka 功能（例如，消费者组自动平衡和消息传递保证）。见：https://kafka.apache.org/documentation/