【问题标题】:BigQuery execution timeBigQuery 执行时间
【发布时间】:2021-04-09 16:44:56
【问题描述】:

在我发送要在 BigQuery 中执行的查询后,我如何才能找到有关此作业的执行时间和其他统计信息?

BigQuery 的 Python API 有一个提示字段 timeline,但在文档中几乎没有提及。但是,此方法返回一个空的可迭代对象。

到目前为止,我一直在使用 BigQuery Python API 运行此 Python 代码。

from google.cloud import bigquery

bq_client = bigquery.Client()
job = bq_client.query(some_sql_query, location="US")
ts = list(job.timeline)
if len(ts) > 0:
    for t in ts:
        print(t)
else:
    print('No timeline results ???')    # <-- no timeline results.

【问题讨论】:

    标签: python google-bigquery


    【解决方案1】:

    当您的作业“完成”时,BigQuery API 会返回一个 JobStatistics 对象(描述为 here),该对象可在 Python 中通过您的作业对象的属性进行访问。

    可用的 attrs 可访问here。

    要访问您的工作所花费的时间,您主要有 job.created、job.started 和 job.ended 属性。

    要回到您的代码 sn-p,您可以尝试以下操作:

    from google.cloud import bigquery
    
    bq_client = bigquery.client()
    job = bq_client.query(some_sql_query, location="US")
    
    while job.running():
        print("Running..")
        sleep(0.1)
    
    print("The job duration was {}".format(job.ended - job.started))
    

    【讨论】:

      猜你喜欢
      • 2019-10-30
      • 2021-03-16
      • 2021-03-11
      • 2022-06-23
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多