【发布时间】：2018-08-28 23:57:16
【问题描述】：
我们有一个长时间运行 (3h) 的模型训练任务，每 3 天运行一次，而较小的预测管道每天运行一次。 对于这两种情况，我们都使用 Jenkins + EC2 插件来启动大型实例（工作者）并在它们上运行管道。这有两个目的：
- 保持管道隔离。因此，每个管道都有一个实例的所有资源。
- 我们节省成本。大型实例只运行几个小时，而不是 24/7
使用 Jenkins + EC2 插件，我不负责将代码复制到工作人员并报告执行结果。 Jenkins 是在幕后做的。
有没有办法通过 Airflow 实现相同的行为？
【问题讨论】：
标签： amazon-web-services machine-learning airflow