来自 Stackdriver 的数据流日志答案

【问题标题】：Dataflow logs from Stackdriver来自 Stackdriver 的数据流日志
【发布时间】：2020-09-21 15:57:43
【问题描述】：

stackdriver 中 dataflow_step 日志的 resource.labels.region 字段指向全局，即使指定的区域端点是 Europe-west2。

你知道它到底指向什么吗？

【问题讨论】：

您是否在作业的所有日志中看到“全局”，还是只看到一些？
@Shalanki Gupta - 如果您的问题已得到解答，您能否发表评论？

标签： google-cloud-platform google-cloud-dataflow google-cloud-stackdriver

【解决方案1】：

一旦您为 GCP Logs Viewer 提供了所需的过滤选项，作为最简单的查询，基于您的输入寻找 dataflow_step resource type：

resource.type="dataflow_step"
resource.labels.region="europe-west2"

您可能会观察到从 Cloud Dataflow REST API 检索到的查询结果，其中包含格式为 JSON 输出的日志条目，用于所有驻留在您的 GCP 项目中的 europe-west2Regional endpoint 中的数据流作业：

{
  "insertId": "insertId",
  "jsonPayload": {
    ....
    "message": "Message content",
    ....
  },
  "resource": {
    "type": "dataflow_step",
    "labels": {
      "job_id": "job_id",
      "region": "europe-west2",
      "job_name": "job_name",
      "project_id": "project_id",
      "step_id": "step_id"
    }
  },
  "timestamp": "timestamp",
  "severity": "severity_level",
  "labels": {
    "compute.googleapis.com/resource_id": "resource_id",
    "dataflow.googleapis.com/job_id": "job_id",
    "compute.googleapis.com/resource_type": "resource_type",
    "compute.googleapis.com/resource_name": "resource_name",
    "dataflow.googleapis.com/region": "europe-west2",
    "dataflow.googleapis.com/job_name": "job_name"
  },
  "logName": "logName",
  "receiveTimestamp": "receiveTimestamp"

根据GCP日志服务documentation，每个监控资源类型都从嵌套服务API中派生出特定的标签，dataflow.googleapis.com对应Dataflow服务。

因此，如果您运行 Dataflow Job 定义作业元数据 region 的位置，GCP 日志记录服务将在整个 dataflow.googleapis.com REST 方法中从作业描述中获取此区域端点。

【讨论】：

【解决方案2】：

Dataflow Step 日志上的 resource.labels.region 字段应引用作业正在使用的区域端点。 “全球”不是那里的预期值。

【讨论】：