在传感器超时时触发气流任务

Question

我目前有一个PythonSensor，它在 ftp 服务器上等待文件。是否可以让此传感器在超时时触发任务？我正在尝试创建以下 dag：

airflow sensor diagram

我查看了BranchPythonOperator，但如果第一次失败，我似乎不再获得重新安排任务的好处。

Answer 1

您是否尝试在您的任务中使用trigger_rule="all_failed"？

all_failed：所有上游任务都处于失败或upstream_failed状态

见http://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html?highlight=all_failed#trigger-rules

这里有一个例子http://airflow.apache.org/docs/apache-airflow/stable/faq.html?highlight=all_failed#how-to-trigger-tasks-based-on-another-task-s-failure