用于捕获 bigquery 指标的 Metricbeat gcp 模块未按预期工作答案

【问题标题】：Metricbeat gcp module to capture bigquery metrics is not working as expected用于捕获 bigquery 指标的 Metricbeat gcp 模块未按预期工作
【发布时间】：2021-12-07 08:47:32
【问题描述】：

我在 modules.d/gcp.yml 文件中添加了 bigquery 指标配置

但是下面出现错误

“2021-12-06T09:51:10.206Z ERROR [gcp.metrics] metrics/metricset.go:294 bigquery.googleapis.com/storage/table_count”指标描述符为空，不会收集此指标

下面是我用过的代码

模块：gcp 地区：“us-central1” 指标集：
- 指标 project_id: "项目名称" 凭证文件路径：“/root/xyz.json” 排除标签：假时间：1h 指标：
- 对齐器：ALIGN_NONE 服务：大查询 service_metric_prefix：bigquery.googleapis.com/ 公制类型：
  - “bigquery.googleapis.com/storage/table_count”

如果代码中需要任何更改，请告诉我。

我也尝试过提取计算和计费指标。我们可以看到 Kibana 发现过滤器区域中填充的列名，但我们没有任何可用数据

请找到下面给出的代码

模块：gcp 地区：“us-central1” 指标集：
- 指标 project_id：“项目名称” 凭证文件路径：“/root/xyz.json” 排除标签：假期间：1 指标：
- 对齐器：ALIGN_NONE 服务：计算公制类型：
  - “instance/cpu/reserved_cores”
  - “instance/cpu/usage_time”
  - “实例/cpu/利用率”
  - “实例/正常运行时间”

谢谢

【问题讨论】：

标签： google-bigquery

【解决方案1】：

下面的代码对我来说效果很好。

- module: gcp
  metricsets:
    - metrics
  project_id: "YOUR_PROJECT_ID"
  credentials_file_path: "your JSON credentials file path"
  exclude_labels: false
  period: 1800s # 1800s is recommended
  metrics:
    - aligner: ALIGN_NONE
      service: bigquery
      service_metric_prefix: bigquery.googleapis.com/ # This is not required as already "bigquery.googleapis.com/" is default value
      metric_types:
        - "storage/table_count" #only "storage/table_count" here

看来您应该只编辑 metric_type 属性。

我建议 table_count 指标的收集周期为 1800 秒，因为 GCP 每 1800 秒采样一次。

请参阅here 了解相关信息。

这在我的 kibana 上也很有效。

【讨论】：