通过 Dataflow SQL 到 BigQuery 的 Cloud Pub/Sub

【问题标题】：通过 Dataflow SQL 到 BigQuery 的 Cloud Pub/Sub
【发布时间】：2022-01-01 21:04:37
【问题描述】：

我想了解 Dataflow 管道的工作原理。

就我而言，我有一些内容定期发布到云 pub/sub，Dataflow 然后将其写入 BigQuery。通过的消息量为数千条，因此我的发布者客户端有一个批量设置为 1000 条消息、1 mb 和 10 秒延迟。

问题是，当批量发布时，Dataflow SQL 是接收批处理中的所有消息并将其全部写入 BigQuery 还是一次写入一条消息？

两者相比有什么好处吗？

如果需要任何其他详细信息，请发表评论。谢谢

【问题讨论】：

【解决方案1】：

Dataflow SQL 只是一种使用 SQL 语法定义 Apache Beam 管道并在 Dataflow 上运行它的方法。

因为它是 PubSub，所以它是一个基于您的 SQL 定义创建的流式传输管道。当您运行 SQL 命令时，Dataflow 作业会启动并等待来自 pubSub 的消息。

如果您发布一堆消息，Dataflow 能够扩大规模以尽快处理它们。

请注意，Dataflow 流永远不会扩展到 0，因此您将始终为 1 个或更多 VM 付费以保持您的管道正常运行。

【讨论】：