【问题标题】:Why elapsed time is less than the slot time consumed in bigquery为什么经过的时间小于 bigquery 中消耗的时隙时间
【发布时间】:2022-01-22 06:26:40
【问题描述】:

我浏览了许多谷歌云博客和 bigquery 文档,以了解 bigquery 中消耗的时间和时隙时间。在这里,我运行了一个具有以下输出的查询

answer 开始,“经过时间”是 BQ 执行查询所用的总时间。 'slot time' 是 vCPU 执行查询所花费的总时间。我仍然怀疑如果我的理解是正确的,查询的总时间如何小于查询的 CPU 时间。我经历了这个blog。还是没搞清楚。由于任何地方的时隙时间都将被描述为 CPU 和其他资源指标,我可以将此 metric 作为此查询花费的 CPU 时间吗?

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    检查下面的天真和超级简单的类比 - 希望它有助于澄清一些事情

    您雇佣了 10 名工人 - 他们作为一个团队工作了 1 小时

    虽然对你来说,工作看起来是在一小时内完成的 - 实际上花费了 10 个人/小时

    所以你看到的 1 小时 - 是 elapsed timetotal query time
    而 10 小时是 - slot time consumedCPU time

    【讨论】:

      【解决方案2】:

      slot time 通常超过elapsed time,因为在 bigquery 中执行查询涉及到许多工作人员。每个工人花费slot time。例如,CPU 为 50% 的十几个工作人员,因为他们也在执行 I/O,所以每秒可以花费 6 秒的 slot timeelapsed time

      The docs 引用 "workers in parralel"。

      我的许多查询运行不到一分钟的elapsed time 并使用了一个多小时的slot time

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2021-11-15
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2013-12-26
        • 2012-07-07
        相关资源
        最近更新 更多