Cloud Dataflow 上的 Apache Beam - 无法查询 Cadvisor答案

【问题标题】：Apache Beam on Cloud Dataflow - Failed to query CadvisorCloud Dataflow 上的 Apache Beam - 无法查询 Cadvisor
【发布时间】：2018-01-21 22:51:34
【问题描述】：

我有一个从 Pub/Sub 读取数据并将数据推送到 BQ 的云数据流。最近数据流报告了下面的错误，并且没有向BQ写入任何数据。

{
 insertId:  "3878608796276796502:822931:0:1075"  
 jsonPayload: {
  line:  "work_service_client.cc:490"   
  message:  "gcpnoelevationcall-01211413-b90e-harness-n1wd Failed to query CAdvisor at URL=<IPAddress>:<PORT>/api/v2.0/stats?count=1, error: INTERNAL: Couldn't connect to server"   
  thread:  "231"   
 }
 labels: {
  compute.googleapis.com/resource_id:  "3878608796276796502"   
  compute.googleapis.com/resource_name:  "gcpnoelevationcall-01211413-b90e-harness-n1wd"   
  compute.googleapis.com/resource_type:  "instance"   
  dataflow.googleapis.com/job_id:  "2018-01-21_14_13_45"   
  dataflow.googleapis.com/job_name:  "gcpnoelevationcall"   
  dataflow.googleapis.com/region:  "global"   
 }
 logName:  "projects/poc/logs/dataflow.googleapis.com%2Fshuffler"  
 receiveTimestamp:  "2018-01-21T22:41:40.053806623Z"  
 resource: {
  labels: {
   job_id:  "2018-01-21_14_13_45"    
   job_name:  "gcpnoelevationcall"    
   project_id:  "poc"    
   region:  "global"    
   step_id:  ""    
  }
  type:  "dataflow_step"   
 }
 severity:  "ERROR"  
 timestamp:  "2018-01-21T22:41:39.524005Z"  
}

任何想法，我该如何帮助这个？有没有人遇到过类似的问题？

【问题讨论】：

标签： google-bigquery google-cloud-dataflow apache-beam

【解决方案1】：

如果这种情况仅发生一次，则可能是暂时性问题。工作节点上运行的进程无法到达cAdvisor。要么 cAdvisor 容器未运行，要么工作人员出现临时问题，无法联系 cAdvisor 并且作业卡住。

【讨论】：

我还可以看到一些日志说无法挂载卷。数据流作业状态仍在运行中。我应该期望这份工作能够自我纠正吗？还是需要重新启动？该作业尚未开始处理数据。
通常这些只是暂时的问题，但是当它们发生时，工作似乎被卡住了，我的建议是停止它并重试。让我知道它是否有效。
是的，重新启动作业似乎确实有效。谢谢:)