Apache Airflow min_file_process_interval 和 DAGs 调度间隔

Question

Apache Airflow 的概念表明，在 DAG 的顶级代码中不应有任何昂贵的数据库调用，因为 .py 文件每min_file_process_interval 秒解析一次。另一方面，我读到您的 DAG（或工作流程）不应该改变那么多，所以我不明白为什么应该经常解析文件？ （默认为 30 秒）

我们的用例是我们想通过 Airflow 的 UI 中的变量来控制 DAG 的调度间隔。我们的 DAG 几乎没有变化，我们也不会经常添加新的 DAG。目前，我们希望创建大约 30-50 个 DAG，每个 DAG 都应包含此 Variable.get() 调用以获取当前设置的间隔时间。我们可以将min_file_process_interval 设置为某个较高的数字，例如一天两次或一次。这有什么后果？

我们可能会每月更改一次 DAG 的间隔，并且我们不想编辑 .py 文件。还有其他推荐的方法来设置间隔而不编辑代码吗？

Answer 1

如果您将file_parsing_sort_mode 设置为修改时间，然后将min_file_process_interval 设置为较大的数字，则它应该根据This link 自动跳过更新dag 的时间。