【问题标题】:Google BigQuery set limit on query size using estimatesGoogle BigQuery 使用估计值设置查询大小限制
【发布时间】:2018-07-11 08:13:23
【问题描述】:

Google BigQuery 有一个空运行功能,通过它我们可以在运行之前估算总查询大小。
BigQuery 上是否有一些黑客/机制,我们可以通过它设置允许的查询大小的上限,并自动拒绝任何超过该大小的查询?

这将很有用,以避免意外进行任何可能超出设置限制的查询(WEB UICOMMAND-LINEAPI)。

【问题讨论】:

    标签: google-bigquery size limit


    【解决方案1】:

    您可以使用最大计费字节设置来限制为查询计费的字节数。当您设置计费的最大字节数时,如果查询将读取超出限制的字节数,则查询失败且不会产生费用。

    如果查询因最大计费字节设置而失败,则返回如下错误:

    错误:查询超出计费字节数限制:1000000. 10485760 或 要求更高。

    在 BigQuery 网络用户界面中,在查询选项的“最大计费字节数”字段中输入一个整数。

    在 CLI 中,使用带有 --maximum_bytes_billed 标志的 bq 查询命令。

    bq --location=美国查询 --maximum_bytes_billed=1000000 --use_legacy_sql=false "从bigquery-public-data.samples.shakespeare中选择单词"

    在 API 中,设置 maximumBytesBilled 属性。

    BigQuery Best Practices: Controlling Costs中查看更多信息

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-02-24
    • 1970-01-01
    • 1970-01-01
    • 2017-06-30
    相关资源
    最近更新 更多