启动 Dataflow flex 模板时出现问题答案

【问题标题】：Getting problem while launching the Dataflow flex template启动 Dataflow flex 模板时出现问题
【发布时间】：2021-03-26 03:33:59
【问题描述】：

我在启动数据流 flex 模板时遇到以下问题。

Error occurred in the launcher container: Template launch failed. See console logs

在 2020 年 12 月 13 日凌晨 2:16:51 之前一切正常。

但在 2020 年 12 月 13 日凌晨 2:16:51 之后，所有作业都失败了。

我不知道出了什么问题。我没有更新任何东西。

有人遇到同样的问题吗？有人可以帮我解决这个问题吗？

完整的日志消息：

{
 insertId: "6dx1bnbsu"  
 labels: {
  dataflow.googleapis.com/job_id: "2020-12-15_21_10_01-10766180733224199975"   
  dataflow.googleapis.com/job_name: "tracking-data-pipeline"   
  dataflow.googleapis.com/region: "us-central1"   
 }
 logName: "projects/project_id/logs/dataflow.googleapis.com%2Fjob-message"  
 receiveTimestamp: "2020-12-16T05:22:01.470463269Z"  
 resource: {
  labels: {
   job_id: "2020-12-15_21_10_01-10766180733224199975"    
   job_name: "tracking-data-pipeline"    
   project_id: "project_id"    
   region: "us-central1"    
   step_id: ""    
  }
  type: "dataflow_step"   
 }
 severity: "ERROR"  
 textPayload: "Error occurred in the launcher container: Template launch failed. See console logs."  
 timestamp: "2020-12-16T05:22:00.427865178Z"  
}

【问题讨论】：

没有足够的信息来弄清楚这里出了什么问题。如消息所述，请参阅控制台日志。
控制台上什么都没有。该作业正在通过 Cloud Scheduler 自动分派。当我从终端发送它时，我什么也没得到。
@Al-MamunSarkar 我也遇到了类似的错误；这个控制台日志在哪里？你能解决这个问题吗？
控制台日志表示作业的日志。只需转到作业的详细信息页面并找到日志链接，然后单击即可。
@ShahNewazKhan 在日志级别上有一个过滤器输入，确保您正在查看所有日志级别。没有过滤时的第一条日志行将指定 GCS 存储桶 + 控制台日志路径

标签： google-cloud-platform google-cloud-dataflow

【解决方案1】：

我也遇到了同样的问题。将 apache-beam[gcp]==2.25.0 添加到 requirements.txt 文件为我解决了这个问题。

【讨论】：

【解决方案2】：

我通过在 docker 容器中安装 git 解决了这个问题。在构建 docker 映像时，它试图从 git 存储库中提取一些代码，但 docker 中没有安装 git，这就是它抛出错误的原因。安装 git 后工作正常。

它可能由于不同的原因引发错误。看看日志就知道原因了。

【讨论】：

【解决方案3】：

您应该下载控制台日志，看看出了什么问题。

这里是如何做到这一点。在 Dataflow 上的作业日志中，查找如下所示的行：

2021-11-17T20:41:41.068024028Z Console log from launcher will be available at gs://dataflow-staging-us-central1-834770913771/staging/template_launches/2021-11-17_12_41_40-12088305213911934928/console_logs.

然后使用gsutil 下载该文件：

gsutil cp gs://…etc…/console_logs .

现在看看console_logs的内容，你应该就能知道哪里出了问题。

【讨论】：