GCP - 我们可以知道谁在 BigQuery 中运行大部分查询吗？答案

【问题标题】：GCP - Can we know who run most of the query in BigQuery?GCP - 我们可以知道谁在 BigQuery 中运行大部分查询吗？
【发布时间】：2021-03-09 17:58:32
【问题描述】：

有没有办法找出 Bigquery 的详细信息，例如：

用户数量（每天）（带有他们的姓名）查询数量（每个用户，每天）平均数据使用量（每个查询）

谢谢

【问题讨论】：

标签： google-cloud-platform google-bigquery

【解决方案1】：

我认为这是可能的。

这是BigQuery audit logs overview

您可能需要将日志近乎实时地导出到 BigQuery 中以供进一步分析，例如此处的示例：Defining a BigQuery log sink using gcloud

当（元）数据出现在 BigQuery 表中时，您可以使用标准 SQL 查询来获取您想要的报告，或者将它们公开到某个仪表板中。

【讨论】：

这是最好的方法！使用 bigQuery 查询 BigQuery 日志！此外，您还可以按请求数（无用）和按字节计费（非常有趣）对用户进行排名！

【解决方案2】：

您可以尝试以下查询来验证 BigQuery 上的查询过程，由哪个用户提供开始和结束日期。

SELECT
   job_id,
   start_time,
   user_email,
   total_bytes_processed,
   query
FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 10 DAY) 
 AND CURRENT_TIMESTAMP()
 AND job_type = "QUERY"
 AND end_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 10 DAY) AND CURRENT_TIMESTAMP()
ORDER BY total_bytes_processed DESC

【讨论】：