【发布时间】:2016-12-22 17:45:58
【问题描述】:
使用 Python SDK,如果我使用 extra_package 选项来使用自定义 ParDo,这项工作似乎永远挂起(有时我必须手动终止它)。
这是一个工作 ID,例如:2016-12-22_09_26_08-4077318648651073003
没有明确的日志或错误被抛出...
我注意到它似乎与 extra_package 选项有关,因为如果我使用此选项而不实际触发 ParDo(代码注释),它也不起作用。 具有简单输出模式且没有转换步骤的初始 Bq 查询有效。
这件事发生在某人身上吗?
P.S : 我使用的是 DataFlow 0.4.3 版本。我在 venv 中进行了测试,它似乎可以与 DirectPipelineRunner 一起使用
【问题讨论】:
-
抱歉耽搁了。根据您的工作在 Cloud Logging 中的工作人员日志,您的 extra_package 似乎可能与 Dataflow 的软件包二进制不兼容,或者类似的东西。问题是否仍然存在,或者您最终能否成功运行该作业?包裹是什么?
-
别担心,我确认。我的根目录中的 requirements.txt 和 extra_package 中的那些是不同的。导致 DataFlow 容器中的 exec.go 一次又一次地失败。我最终重新创建了具有相同冻结依赖项的 venv。
标签: python google-cloud-dataflow