用于在气流上运行数据流作业的 jar 路径答案

【问题标题】：jar path for running dataflow job on airflow用于在气流上运行数据流作业的 jar 路径
【发布时间】：2017-06-13 14:13:26
【问题描述】：

首先，我是气流新手。我想做的是使用气流运行数据流作业。搜索了很多链接发现我们需要创建一个jar文件然后使用airflow脚本我们可以运行它。有谁知道这个罐子应该放在哪里，意思是谷歌云存储桶或本地路径。我们可以通过气流直接运行模板吗

【问题讨论】：

【解决方案1】：

有一个Google Cloud Dataflow operator 为 Airflow 项目做出了贡献，您可以在此处找到。

代码中有一个如何指定 Dataflow 作业的示例；那里定义了 jar 的路径（参见代码中的第 50 行）。您需要在计划的机器上为其提供 jar 的路径（因此是 Airflow 机器上的本地路径）。

【讨论】：

虽然您的回答表明如何在 Airflow DAG 内的 Cloud Dataflow 上执行 Apache Beam 代码，但在我看来，将模板化代码存储在 GCS 上并从DAG 无需提供二进制文件。
当然，这是可能的。但是，它确实没有回答所提出的问题。
相反，我认为这个问题专门要求一种从 Airflow 执行数据流模板的方法，正如 OP 的最后一句话所指出的那样。
模板也是 Airflow 中可用的运算符的一部分，可以在链接中找到（第 148 行）。