PubSub -> BigQuery - 如何处理多个独立主题？答案

【问题标题】：PubSub -> BigQuery - How to handle multiple independent topics?PubSub -> BigQuery - 如何处理多个独立主题？
【发布时间】：2017-03-03 17:59:42
【问题描述】：

我们正在使用 DataFlow 从一组 PubSub 主题中读取数据并将数据写入 BigQuery。我们目前为每个主题使用一个 DataFlow 作业，并将它们写入相关的 BigQuery 表。是否可以为此编写一个 Dataflow 作业？

有什么让我无法像在基本流程中那样在同一个 DataFlow 作业中执行多个“基本”管道：https://cloud.google.com/dataflow/pipelines/design-principles?hl=en#a-basic-pipeline

文档和我对代码的理解表明这是可以做到的，但我想在开始工作之前确定一下。

【问题讨论】：

【解决方案1】：

我的理解是，这样做并没有什么“错误”，而且可以做到，这仅取决于您要实现的目标以及与您相关的设计决策。例如，如果您希望某些主题具有更高的吞吐量，拆分它们的一个可能好处是它允许您独立扩展以处理特定主题。

在我的例子中，我采用了多个主题，应用了一些转换并创建了一个 PCollectionList，最终将它们写入 BigQuery。这一切都在一项工作中完成，我在运行之前以编程方式生成转换。

【讨论】：

Idrees，感谢您提供的信息。我们确实有一个可以生成更多数据的。然而，我们处于扩展的早期阶段，我宁愿现在浓缩并稍微扩展整个集合并管理更少的复杂性。然后拉出一个开始落后的工作并将它们分开。现在总体积可能需要两台小型机器。它会迅速增长，但大部分增长都在两个主题中，而不是全部五个。我可以稍后把它们拿出来。