尽管 retries=0，但 Airflow 任务在失败后重试答案

【问题标题】：Airflow task retried after failure despite retries=0尽管 retries=0，但 Airflow 任务在失败后重试
【发布时间】：2019-06-08 15:24:14
【问题描述】：

我有一个在 Cloud Composer 上运行的 Airflow 环境（3 个 n1-standard-1 节点；映像版本：composer-1.4.0-airflow-1.10.0；配置覆盖：核心 catchup_by_default=False；PyPI 包：kubernetes==8.0.1）。

在 DAG 运行期间，一些任务（所有 GKEPodOperators）由于气流工作程序 pod 驱逐而失败。所有这些任务都设置为retries=0。其中一个被重新排队并重试。当任务设置为 0 次重试时，为什么会发生这种情况？为什么它只会发生在其中一项任务上？

【问题讨论】：

请添加您的 DAG。忍不住看代码。

标签： airflow airflow-scheduler google-cloud-composer

【解决方案1】：

“airflow worker pod eviction”意味着一些 pod 需要更多资源，因此一些 pod 被驱逐了。

要解决此问题，您可以使用更大的机器类型或尝试减少 DAG 内存消耗。

查看他的document 以获得更好的视图。

【讨论】：