【发布时间】:2020-06-01 08:37:13
【问题描述】:
在浏览时,我刚刚遇到了 Dataflow SQL。和beamSQL有什么不同吗?
【问题讨论】:
标签: google-cloud-platform google-cloud-dataflow apache-beam beam-sql
在浏览时,我刚刚遇到了 Dataflow SQL。和beamSQL有什么不同吗?
【问题讨论】:
标签: google-cloud-platform google-cloud-dataflow apache-beam beam-sql
Apache Beam SQL 是Apache Beam 的一项功能,可让您直接从管道执行查询。
如您所见here,Beam SQL 有两个SQL 语法选项:Beam Calcite SQL 和Zeta SQL。使用Zeta SQL 的优点是它与BigQuery 的语法非常相似,因此它在读取或写入BigQuery 的管道中很有用。
Dataflow SQL 是Dataflow 的一项功能,允许您直接从BigQuery 查询创建管道。文档中说支持Zeta SQL语法(BigQuery语法)。
要通过BigQuery的控制台创建一个新的Dataflow作业,按以下步骤操作:
之后,您可以点击创建 Cloud Dataflow 作业,您的查询将成为Dataflow 中的作业。
希望对你有帮助
【讨论】: