何时将 Airflow 的执行器从 LocalExecutor 升级到 CeleryExecutor？

Question

我目前正在使用 LocalExecutor 运行多个 Airflow DAG，并且运行良好。我的服务器有很多资源。我即将为一个更大的项目添加一个新的 DAG，我正在考虑从 LocalExecutor 切换到 CeleryExecutor。

我的问题是，有哪些迹象表明我应该切换到 CeleryExecutor？ 是否应该查看特定的性能指标以了解何时需要开始横向扩展？

Answer 1

如果您想运行少量并发任务，那么LocalExecutor 应该足够了，以便根据您的调度需要，这些任务可以运行单个服务器。当您觉得需要将作业分配到多台服务器时，您应该考虑转到CeleryExecutor。