在运行管道之前提交 Dataflow 作业时，我可以运行设置脚本吗？

Question

我正在使用 Apache Beam Python SDK 2.0.0 来定义管道，并尝试在 Google Cloud Dataflow 上运行它。

代码使用 gcs-oauth2-boto-plugin 进行身份验证，但需要通过 apt-get 安装一些软件包[1]。所以我需要在执行管道之前运行这段代码sudo apt-get install gcc python-dev python-setuptools libffi-dev libssl-dev。

如何告诉数据流在执行作业之前在 VM 中执行此命令？我知道我们可以为 Compute Engine 指定启动脚本，但在 Dataflow 中这是在后台创建的，我可以在 Dataflow 中提交作业时做类似的事情吗？

[1]https://cloud.google.com/storage/docs/xml-api/gspythonlibrary

Answer 1

对于 Python 依赖项

您可以在提交管道时传递 --requirements_file 参数。该文件应包含package==version 的行分隔列表，就像pip freeze 命令的输出一样。

对于非 Python 依赖项

在这种情况下，您需要将 --setup_file 参数传递给您的管道。在setup.py 文件中，添加对setuptools.setup 的调用，在其中传递cmdclass 参数以及实现安装逻辑的类。 Apache Beam 存储库包含一个 example of this。

有关更多信息，请查看Managing Pipeline Dependencies。