从 bigquery 获取检索到的数据的数量答案

【问题标题】：get number of retrieved data from bigquery从 bigquery 获取检索到的数据的数量
【发布时间】：2022-10-13 18:02:47
【问题描述】：

我想获取每天从大型查询数据集中检索多少数据以在 GCP 中创建基于日志的指标我尝试将指标创建为 protoPayload.jobservice.getqueryresults 但我不知道它是否是检索到的数据

【问题讨论】：

您想知道针对此数据集的查询处理了多少数据？
是的，当有人进行查询作业时，处理了多少数据

标签： google-cloud-platform logging google-bigquery metrics

【解决方案1】：

您可以使用以下资源指标：

resource.type = "global" 
AND metric.type = "bigquery.googleapis.com/query/scanned_bytes" 
AND metric.labels.priority = "interactive"

该指标给出了全局为所有查询处理的所有扫描字节。

如果项目需要，您还可以在语句类型上添加过滤器：

resource.type = "bigquery_project" 
AND metric.type = "bigquery.googleapis.com/query/statement_scanned_bytes" AND (metric.labels.priority = "interactive" 
AND metric.labels.statement_type = "select")

您的查询可以针对不同的数据集，这就是dataset 上没有过滤器的原因。

如果需要，您还可以根据之前的指标创建警报策略，以便在处理的数据超过阈值时发送电子邮件。

例如，如果 select 查询超过 300 giga，则会通过电子邮件发送警报。

【讨论】：