Dataflow Flex 模板作业已排队答案

【问题标题】：Dataflow Flex template job is QueuedDataflow Flex 模板作业已排队
【发布时间】：2021-04-02 11:58:41
【问题描述】：

我正在尝试重现 this tutorial 以在 Dataflow 上运行 Flex 模板。

当我提交作业时，我可以在控制台中看到它，但它没有启动并标记为 Queued。这是否意味着作业是在 FlexRS mode 中提交的？提交后如何直接开始作业？

【问题讨论】：

【解决方案1】：

Flex 模板作业的“已排队”状态意味着您的容器正在虚拟机上运行以构建管道并启动作业。如果作业在 Queued 中停留的时间超过几分钟，则表明此过程卡住了。您可以在 Dataflow UI 的“作业日志”部分查看此虚拟机的日志。

【讨论】：

谢谢丹尼尔，所以工作失败了，当我按照你的建议检查工作日志时，我发现了这个：Output from execution of subprocess: ..... OSError: \'git\' was not found\n ----------------------------------------\nERROR: Command errored out with exit status 1
看起来您的容器不包含启动作业所需的所有依赖项。在这种情况下，您只需在 dockerfile 中添加一行“RUN apt-get install git”

【解决方案2】：

这看起来像一个错误，上游依赖项（pyarrow？）开始需要git 才能构建，但基础映像当前不包含git。我在这里提交了一个问题：https://issuetracker.google.com/issues/176570473

【讨论】：