处理多个发布订阅主题的数据流管道设计

Question

我有一个管道，它从 Pubsub 主题中读取（以分钟为窗口）并将处理后的结果写入 BigQuery。我希望将表按时间以及数据本身的一些键进行分片。 BigQueryIO 确实提供了按窗口时间戳进行分片的选项，但我认为它没有提供任何选项来通过输入集合本身的某个键对表进行分片。如果我错过了一些替代方案，请告诉我。

为了克服这个问题，（选项 1）我选择通过相同的键对源 Pubsub 主题本身进行分片，因此，设置管道以从多个源中读取并沿着单独的分支处理它们，并将每个分支结果写入 BigQuery 分区通过似乎有效的窗口时间戳。我想知道的是，由于在我的情况下，Dataflow 中的中间处理步骤可能与源或接收器无关，（选项 2）如果我继续使用它是否会使管道更高效（在资源和时间方面）单个 Pubsub 主题并在 BigQuery 写入步骤之前添加一个额外的转换以对集合进行分区，然后写入 BigQuery。

选项 - 1 + 在读/写期间对 Pubsub 造成的负载较小，因为即使组合的消息也可能适合几百 KB - 读取步骤和中间处理在单独的管道中完成（这对于 Dataflow 可能不会低效）

选项 - 2 + 管道更清洁 - 分区的附加步骤，它读取相同集合的次数与我们拥有的分区数量一样多 - 但集合项的数量和分区本身非常小 - 所以，这应该不是一个更大的问题

我想选项 2 在阅读 Pipeline Design Principles 时更有意义，但我仍然想澄清我所做的是正确的。

Answer 1

选项 2 似乎是一个合适的选择，前提是您有固定数量的要输出到的键。

从 PubSub 读取数据，您可以将可能需要的任何转换应用到 Partition PTransform，该 PTransform 将 PCollection 拆分为固定数量的输出 PCollection。在上图中，我分别标记了这些 A、B 和 C。

之后，您可以应用 Values PTransform 来生成 PCollection>，然后将其输入 Remove Duplicates PTransform。这将为您提供我相信您正在寻找的 Set 语义，因为 Remove Duplicates 分别适用于每个窗口。

最后，您将应用任何其他 PTransforms 将您的 PCollection> 转换为 PCollection 并将其连接到 BigQuery 接收器。