【发布时间】：2022-01-09 04:44:47
【问题描述】：
我正在使用气流版本 2.2.2 和 celery 作为执行程序。这是我想要实现的目标
- Dag 应该每秒运行一次
- 一次只能运行一个活动 dag。
以前我用 celery beat 和 celery 解决了这个案例。由于将应用程序移动到基于集群的调度程序，我们正在尝试使用气流。有人可以建议我们可以在这个用例中使用气流
【问题讨论】：
标签： airflow airflow-scheduler airflow-2.x
【发布时间】：2022-01-09 04:44:47
【问题描述】：
没有。气流不适合这种用例。 每秒运行一次的进程可能不属于批处理的范围。
在您的情况下，当结合这两个条件时，这也意味着任务必须在 1 秒内完成，否则池将建立，并且将安排更多任务，然后您可以处理。气流不太可能处理它。
对于这个功能，我会检查事件溯源和流处理领域的更多技术（假设您希望每 1 秒运行一次进程的原因是为了实时响应不断更新/获取的数据）
【讨论】：
-
在我的dag中只有一个任务存在，在那种情况下它是否会工作
-
Airflow 不是最好的工具
-
谢谢，@Elad。你能帮我推荐一些解决这个用例的替代方案吗