在 Airflow 1.9.0 中填充“ExternalTask​​Sensor”的“dag_id”的最佳实践是什么？

Question

ExternalTaskSensor参数external_dag_id怎么填？

1. 硬编码。维护 DAG 非常简单但很难，如果外部 DAG 的 dag_id 发生变化，您必须记住也要更改 external_dag_id。甚至是一些不知情的拼写错误。
2. 或导入该 dag 并使用 external_dag.dag_id。这样就解决了上面的问题。但它可能会出现循环依赖和一些全局变量问题。这些问题比 Hardcode 解决方案更无意识。

有人在生产中对此有一些最佳实践吗？欢迎任何建议。

Answer 1

我建议使用第二种解决方案。

如果有全局变量，你应该把它们移到Airflow Variables。而要解决循环依赖问题，就需要重构 DAG。这取决于管道。