使用 Apache 自动化烧瓶服务器。空气流动

Question

我有一个由多种方法组成的烧瓶服务器。我的目标是使用 Airflow 自动执行这些方法。 我正在考虑使用以下步骤：-

1. 通过定义多个 DAGS 以调用管道中的相关烧瓶方法来设置 Airflow。
2. 部署 Flask 服务器。
3. 部署 Airflow（使用 docker-compose）。

主要是，我正在考虑独立分离 Airflow 和烧瓶服务器。你认为这是一个好的计划吗？任何其他建议将不胜感激。

Answer 1

这取决于几件事。

1. 您可以从 Airflow 内部运行这些方法吗？出于安全原因，通常需要将某些功能保留在不同的环境/集群中。原因可能是您希望授予 Airflow 环境所需的数据库访问权限。
2. 此功能/方法是否也从其他位置调用，还是仅用于 Airflow？
3. flask 服务器还有哪些功能是您离不开的？
4. 是否存在python依赖冲突？即使在这种情况下，您也可以使用 Airflow 的 VirtualEnvOperator。

如果这里没有完全阻止您从 Airflow 内部调用这些方法的答案，我会投票决定完全在 Airflow 内部执行这些方法。从长远来看，这将减少耦合并减轻您的维护负担。此外，Airflow 将使您无需担心很多事情，例如连接性、异常代码和出错时的回调。