Airflow 使用 git 存储库中的代码运行 dataproc 作业答案

【问题标题】：Airflow run dataproc job with code that sits in git repositoryAirflow 使用 git 存储库中的代码运行 dataproc 作业
【发布时间】：2019-07-18 14:41:45
【问题描述】：

我正在查看 documentation of the DataProcPySparkOperator 以了解将 pyspark 作业的代码文件和依赖项文件 (pyfiles) 发送到何处。据我了解，我应该使用“main”和“pyfiles”参数。但尚不清楚这些文件应该存在于何处。我可以给 git 的链接，它们将从那里获取，还是应该使用谷歌云存储（在我的情况下，我在谷歌云上）？还是我应该自己处理文件的副本，然后提供到主存储的链接？

【问题讨论】：

您使用的是自管理气流还是云作曲家？
@psychoCoder 我正在使用自我管理，但我认为自我管理和 Composer 的答案应该相同，不是吗？

标签： google-cloud-platform pyspark airflow google-cloud-dataproc google-cloud-composer

【解决方案1】：

您需要在main 中传递它。它可以是本地 python 文件，也可以是 GCS 上的文件，两者都受支持。如果文件是本地文件，Airflow 会将其上传到 GCS 并将该路径传递给 Dataproc API。

【讨论】：