Vert.x：如何处理整个工作线程池中的事件序列

Question

我的问题是：

如果我在事件循环线程中收到多个事件序列，我如何处理每个序列阻塞和有序但不同的序列由整个工作线程池处理。

用例：

我在 vert.x 中有一个 gRPC 客户端，它有 4 个事件循环和 20 个工作线程。我在 10 个线程中开始远程调用。

• 每次调用都会收到 2 个事件 StreamObserver.onNext 和 StreamObserver.onCompleted
• 在每个此类事件中，我都希望以这样的方式开始阻塞任务，即 gRPC 调用 onNext 和 onClose 是有序的，而对于不同的 gRPC 调用，事件在 不同的工作线程。

目标是将调用执行分配给尽可能多的工作线程，但要对单个调用的事件进行排序。

• 如果我使用 executeBlocking 和有序 true - 它们将在每个事件线程的工作线程中执行。
• 如果 false - 处理 onNext 和 onClose 将没有顺序。

Answer 1

我认为这对 Kafka 来说是一个很好的用例。

您可以继续使用工作池，每个线程创建和侦听 kafka 的消费者。除了工作池，您还可以在同一个 java 进程甚至多个 jvm 实例（甚至容器，为什么不 :p ）中实例化多个 Verticle。我更喜欢第二种方法来处理事件驱动和分布式架构中的动态可伸缩性（我在this answer 中写了更多详细信息）。

无论哪种方式，所有消费者都需要以相同的group.id 实例化才能成为同一消费者组的一部分。这样kafka就可以将topic的partition分配给每个group的成员（单个partition不能被两个成员同时读取）。

最后，为了能够创建“事件序列”，您只需要在 kafka 主题中使用定义您的序列的分布键生成事件（使用相同分布键生成的两条消息将存储在同一个分区并将被组的同一消费者读取）。