【问题标题】:What's the difference between Dataflow sql, Beam SQL (Zeta sql or CALCITE SQL)?Dataflow sql、Beam SQL(Zeta sql 或 CALCITE SQL)有什么区别?
【发布时间】:2020-06-01 08:37:13
【问题描述】:

在浏览时,我刚刚遇到了 Dataflow SQL。和beamSQL有什么不同吗?

【问题讨论】:

    标签: google-cloud-platform google-cloud-dataflow apache-beam beam-sql


    【解决方案1】:

    Apache Beam SQLApache Beam 的一项功能,可让您直接从管道执行查询。

    如您所见hereBeam SQL 有两个SQL 语法选项:Beam Calcite SQLZeta SQL。使用Zeta SQL 的优点是它与BigQuery 的语法非常相似,因此它在读取或写入BigQuery 的管道中很有用。

    Dataflow SQLDataflow 的一项功能,允许您直接从BigQuery 查询创建管道。文档中说支持Zeta SQL语法(BigQuery语法)。

    要通过BigQuery的控制台创建一个新的Dataflow作业,按以下步骤操作:

    1. 转到 BigQuery 的控制台
    2. 在查询编辑器下方,点击更多,然后点击查询设置
    3. 在第一个选项中选择 Cloud Dataflow 引擎,如下所示

    之后,您可以点击创建 Cloud Dataflow 作业,您的查询将成为Dataflow 中的作业。

    希望对你有帮助

    【讨论】:

    • 当有 BigQuery SQL 时,使用 Dataflow SQL 的用例是什么?什么会更划算?我不是在探索使用 BigQuery Flexslots 来节省查询成本。
    猜你喜欢
    • 2021-08-28
    • 2011-07-22
    • 2022-06-11
    • 2010-11-21
    • 2011-03-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-09-21
    相关资源
    最近更新 更多