【问题标题】:How to view Query jobs submitted via GAE in BigQuery console如何在 BigQuery 控制台中查看通过 GAE 提交的查询作业
【发布时间】:2017-11-19 04:14:05
【问题描述】:

我在 GAE 有一份 cron 工作。此 cron 作业将创建一个 BigQuery 作业并提交。

当我登录 BigQuery 控制台时,我看不到此作业。我只看到从 BigQuery 控制台创建的作业,而不是通过此 CRON 作业创建的作业。

我想看看作业是否成功完成。如何在 BigQuery 控制台中查看通过 GAE 创建的作业?

我在 GAE 中使用 Python,这里是它的代码 sn-p

  job = bigquery_client.run_async_query(job_name, query)
  # We are using Standard SQL
  job.use_legacy_sql = False
  # Start BigQuery job
  job.begin()

【问题讨论】:

    标签: google-app-engine cron google-bigquery google-cloud-platform


    【解决方案1】:

    使用cli tool 获取最近的工作:

    bq  ls -j -a --max_results=15
    

    运行它会显示一个包含作业 ID 和相应时间的表格。

                   jobId                Job Type    State      Start Time      Duration
     --------------------------------- ---------- --------- ----------------- ----------
      bquijob_1864e679_15a84d8878a      query      SUCCESS   28 Feb 07:11:06   0:00:04
      bquijob_770b512_15a84d8122c       query      FAILURE   28 Feb 07:10:35   0:00:00
      bquijob_de0df03_15a84d6a4fa       query      FAILURE   28 Feb 07:09:02   0:00:00
      bquijob_52c4f7d7_15a84d660e6      query      FAILURE   28 Feb 07:08:44   0:00:00
      bquijob_76a2c1be_15a84d5e769      query      FAILURE   28 Feb 07:08:13   0:00:00
      bquijob_7f51dde5_15a84d55afb      query      SUCCESS   28 Feb 07:07:41   0:00:08
      bquijob_34f25864_15a84d50503      query      SUCCESS   28 Feb 07:07:18   0:00:08
      job_Ca0cuRTAjY7MEHAs7vTJMxtVYTs   query      SUCCESS   28 Feb 07:00:47   0:00:09
      job_hHfmcdwyBsPsYF5dDvvOdR1Rmd0   load       SUCCESS   28 Feb 07:00:26   0:00:20
      job_mkiLf_mFHLKSplGJOtg-XDKzvv4   load       SUCCESS   28 Feb 02:52:50   0:00:02
      job_3RsPvttxWwv3SzVoOI9Cv_2yWtA   query      SUCCESS   27 Feb 21:18:40   0:00:08
      job_JLsqJO0NEIlKNac6jkDWbwneGMg   extract    SUCCESS   27 Feb 11:35:04   0:00:17
      job_KOS7vKX4aX0FNbK6dibE7cxzcQA   query      SUCCESS   27 Feb 11:33:44   0:00:37
      bquijob_44046bec_15a802f703a      query      SUCCESS   27 Feb 09:27:48   0:00:07
      job_2qQ6YSWeXaP2y2doONQJsIoga3c   query      SUCCESS   27 Feb 08:53:20   0:00:06
    

    第二个选项是启用审核日志,并在 BigQuery 数据集中自动创建的表下找到查询

    https://cloud.google.com/bigquery/audit-logs

    【讨论】:

    • 在 BigQuery 控制台中看不到吗?
    • 控制台可以看到当前登录用户的作业,需要开启审计报告并运行SQL查询才能看到,比较复杂。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2011-06-07
    • 2021-10-28
    • 2021-07-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多