【问题标题】:Job hangs forever with no logs作业永远挂起,没有日志
【发布时间】:2016-12-22 17:45:58
【问题描述】:

使用 Python SDK,如果我使用 extra_package 选项来使用自定义 ParDo,这项工作似乎永远挂起(有时我必须手动终止它)。

这是一个工作 ID,例如:2016-12-22_09_26_08-4077318648651073003

没有明确的日志或错误被抛出...

我注意到它似乎与 extra_package 选项有关,因为如果我使用此选项而不实际触发 ParDo(代码注释),它也不起作用。 具有简单输出模式且没有转换步骤的初始 Bq 查询有效。

这件事发生在某人身上吗?

P.S : 我使用的是 DataFlow 0.4.3 版本。我在 venv 中进行了测试,它似乎可以与 DirectPipelineRunner 一起使用

【问题讨论】:

  • 抱歉耽搁了。根据您的工作在 Cloud Logging 中的工作人员日志,您的 extra_package 似乎可能与 Dataflow 的软件包二进制不兼容,或者类似的东西。问题是否仍然存在,或者您最终能否成功运行该作业?包裹是什么?
  • 别担心,我确认。我的根目录中的 requirements.txt 和 extra_package 中的那些是不同的。导致 DataFlow 容器中的 exec.go 一次又一次地失败。我最终重新创建了具有相同冻结依赖项的 venv。

标签: python google-cloud-dataflow


【解决方案1】:

由 thylong 和 jkff 确定:

extra_package 与 Dataflow 的包二进制不兼容。根目录的requirements.txt和extra_package的不一样,导致DataFlow容器中的exec.go一次又一次失败。为了解决这个问题,我们使用相同的冻结依赖项重新创建了 venv。

【讨论】:

    猜你喜欢
    • 2020-12-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-09-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多