使用 gRPC 微服务和 Kubernetes 进行路由

Question

我有两个应用程序，一个是普通的 Kafka 消费者，另一个是基于 gRPC 的微服务。 Kafka 消费者只负责消息的消费，业务逻辑驻留在微服务中。此外，我们的 Kafka 主题中消息的键为 null，因此 Kafka 将消息循环分配到分区，从而将传入消息均匀地分配到所有分区。归根结底，我正在处理非事务性存储（BigTable），所以我必须确保只有一个线程负责读取、更新和写入行键到存储中以避免竞争条件.我的 gRPC 微服务在多个 pod 上的 Kubernetes 集群中运行，我如何确保属于特定行键的消息对象进入 Kubernetes 集群中的同一个 pod，从而没有竞争条件？我的微服务负责将最终输出写入 BigTable，而微服务位于负载均衡器后面。

Answer 1

如果您已经拥有（大）代码库，这可能不是一个解决方案，但像 Apache Flink 这样的流式框架可以很好地处理这个问题。

它有一个操作符keyBy() 可以完全满足您的需求。它将按您定义的键对消息进行“排序”，并保证具有相同键的消息由同一线程处理。