我想读取有关 Google PubSub 主题的传入数据，处理数据并将其转换为统一的数据结构，然后将其插入到 Google BigQuery 中的数据集中。据我了解，可以使用某种流式传输数据的管道。但是，我找不到任何可以实现这一目标的简洁明了的示例。
我的项目是用 Scala 编写的，所以我更喜欢用这种语言编写的示例。否则，Java 中的一些简洁的东西也可以工作。
谢谢！
【问题讨论】：
标签： scala google-bigquery google-cloud-dataflow google-cloud-pubsub
我会说Google Cloud Dataflow 是适合您用例的正确产品。它恰好用于您所描述的内容：从不同来源（在您的情况下为 Pub/Sub）读取输入数据，对其进行转换，然后将其写入接收器（此处为 BigQuery）。
Dataflow 可与 Batch 和 Streaming 管道一起使用。在前者中，所有数据在创建时都可用，而后者是您需要的版本，它不断地从无限源（例如 Pub/Sub 订阅）读取数据，并在数据一到达管道。
此外，您会发现 Dataflow 团队最近发布了一些模板的 Beta 版，您可以使用这些模板更轻松地开始使用 Dataflow。在这种情况下，甚至还有一个 Cloud Pub/Sub to BigQuery template 可用，您可以按原样使用它，或者修改其源代码（在 the official GitHub repository 中提供），以便在 Pub/Sub-read 之间添加您想要应用的任何转换和 BigQuery 写入。
请注意，最新的 Dialogflow Java SDK 基于 Apache Beam，其中包含大量您可能会感兴趣的文档和代码参考：
【讨论】：