附加设置 2.10.0 时的 Dataflow SDK 2.7.0答案

【问题标题】：Dataflow SDK 2.7.0 while attaching a setup 2.10.0附加设置 2.10.0 时的 Dataflow SDK 2.7.0
【发布时间】：2019-03-18 05:16:41
【问题描述】：

我正在尝试运行数据流作业，有以下 setup.py 文件：

import setuptools

setuptools.setup(
              name='Some-Name',
              version='0.0.1',
              install_requires=[
                  'apache-beam==2.10.0',
                  'tensorflow-transform==0.12.0'
                  ],
              packages=setuptools.find_packages(),
              )

但是当我将作业提交到 GCP 时，SDK 显示为 2.7.0，作业将无法运行。它将在 1 小时后停止并出现以下错误：

工作流程失败。原因：Dataflow 作业似乎卡住了，因为在过去 1 小时内没有看到任何工作人员活动。

【问题讨论】：

标签： python google-cloud-platform sdk google-cloud-dataflow apache-beam

【解决方案1】：

我通过在我提交数据流作业的本地虚拟环境中更新 tensorflow-transform 和 apache-beam 解决了这个问题。一旦我更新了我的本地 apache-beam 和 tensorflow-transform 和 tensorflow，它似乎就可以工作了。我不知道为什么，因为setup.py 说明了软件包的版本。

【讨论】：