使用来自不同管道的数据

Question

我有两个管道，“gameEngineEvents”和“userEvents”，它们来自等效的 pubsub 主题。一个 userEvent 可能有一个或多个 gameEngineEvents。

当 gameEngineEvent 发生时，我想检查是否存在引用该 gameEngineEvent 的 userEvent，运行一些逻辑，然后将新消息发布到第三个 pubsub 主题。

那么，是否有可能只在数据流中做这样的事情？

Answer 1

这当然是可能的。您将要在这里使用的是CoGroupByKey，它将使用某个键将“gameEngineEvent”与具有该键的“userEvent”在同一台机器上洗牌，以便一起处理它们并对它们执行特定的逻辑。您最终将获得 2 个可用于处理的密钥的迭代。

有关CoGroupByKey 的详细信息，请访问here。

由于这些是 PubSub 主题，并且您可能正在处理无限来源，因此您可能还想查看 Windowing，以便为要执行处理的事件设置边界。