是否可以针对 BigQuery SQL 查询制定自定义指标？答案

【问题标题】：Is it possible to make a custom metric about a BigQuery SQL query?是否可以针对 BigQuery SQL 查询制定自定义指标？
【发布时间】：2021-01-26 07:38:08
【问题描述】：

因为没有 GCP 监控指标可以计算 BigQuery 表中的总行数，所以我想为此创建一个自定义指标。我的目标是在仪表板中使用该指标进行可视化。

根据文档 (https://cloud.google.com/monitoring/custom-metrics/creating-metrics#monitoring_create_metric-java)，您可以使用 Monitoring API 编写一个 java 脚本来创建自定义指标。除此之外，我想知道是否可以使用 BigQuery API 并执行一个简单的 sql 查询来计算 BigQuery 表中的行数，并将其用作自定义指标的数据点。

这可能吗？

提前感谢您的任何回答。

【问题讨论】：

标签： google-cloud-platform google-bigquery google-cloud-monitoring

【解决方案1】：

是的，当然，您可以添加创建这些自定义指标的副业。此外，在 BigQuery 上，当您执行 select count(*) from TABLE 时，您无需支付任何费用，因为此数据是从表元数据中检索的。

【讨论】：

我认为您还可以使用 API 获取所需表的行：cloud.google.com/bigquery/docs/reference/rest/v2/tables#Table 查找“numRows”：字符串管道可能类似于：Big Query API Call ->执行 API 调用并创建和发送您将从 API 和“numRows”获得的指标的 Java 应用程序 -> 绘制指标的监控仪表板。
并且添加到 Guillaume 的方法非常好，到达元数据服务器的计数可能类似于：元数据服务器计数 -> 到达服务器然后创建并将指标发送到监控的 Java 应用程序 - > 绘制指标的监控仪表板。我也想和你分享这个文件：cloud.google.com/monitoring/custom-metrics/…cloud.google.com/monitoring/custom-metrics
感谢@CarloC。为您的评论。我没有检查 API，但这也是一个聪明的主意！
感谢 Guillaume，@CarloC 到目前为止的回复。我想知道在没有 java 应用程序的情况下是否也可以创建自定义指标。我找到了这个 terraform 指标描述符 (terraform.io/docs/providers/google/r/…)，在创建示例资源后，我能够在 Metric explorer 中找到示例自定义指标。现在是否可以在不涉及 java 应用程序的情况下将此指标的 bigquery sql 计数查询用作我的数据点？或者是否有其他方法可以在不需要云函数或 Java 应用的情况下创建此自定义指标？
我认为您至少应该使用两者中的一个，以便获取行数并将其发送到监控。监控本身无法做到这一点，因为总 number_of_rows 不是受监控的指标。 cloud.google.com/monitoring/api/resources#tag_bigquery_dataset cloud.google.com/monitoring/api/metrics_gcp#gcp-bigquery 我不知道 terraform 指标。