如何删除气流中的默认示例 dag答案

【问题标题】：How to remove default example dags in airflow如何删除气流中的默认示例 dag
【发布时间】：2017-09-10 16:07:51
【问题描述】：

我是 Airbnb 开源工作流/数据管道软件 airflow 的新用户。 Web UI 启动后有几十个默认示例 dag。我尝试了很多方法来删除这些 dag，但我没有这样做。

load_examples = False 在airflow.cfg 中设置。
文件夹 lib/python2.7/site-packages/airflow/example_dags 已删除。

在我删除 dags 文件夹后，这些示例 dag 的状态变为灰色，但这些项目仍占据 Web UI 屏幕。并且在airflow.cfg 中将一个新的dag 文件夹指定为dags_folder = /mnt/dag/1。我检查了这个 dag 文件夹，什么都没有。我真的很奇怪为什么删除这些示例如此困难。

【问题讨论】：

标签： python airflow

【解决方案1】：

当您启动气流时，请确保您设置：

load_examples = False

在你的airflow.cfg里面

如果您已经启动了气流，但未将其设置为 false，您可以将其设置为 false 并在 cli 中运行 airflow resetdb（！这将破坏所有当前的 dag 信息！）。

或者，您可以进入airflow_db 并从dag 表中手动删除这些条目。

【讨论】：

真的很感激，我解决了这个问题，就像你的回答一样。
我刚刚在 1.8.1 中尝试过，似乎还不够。我可以在运行airflow resetdb 后确认 dag 表是空的，并且我已经对 cfg 文件进行了更改，但是示例 dag 仍然存在于网络服务器中。我必须重新启动网络服务器才能完成这项工作。这涉及杀死大量进程并再次运行airflow webserver。可能最好使用 systemd 或 upstart 来管理重启 airflow.incubator.apache.org/…
运行气流 resetdb 命令在 1.10.5 中运行良好。应该被接受的解决方案（现在投票）
请注意 resetdb 将删除您定义的所有连接/变量。
据我所知，对于 airflow 2.0.1 ；在airflow.cfg 中设置load_examples = False 后，使用airlow db reset 而不是airflow resetdb

【解决方案2】：

对于 Airflow 2.0，在 docker-compose.yaml 中，您可以将 AIRFLOW__CORE__LOAD_EXAMPLES: 'false' 设置为不加载它们，而不是编辑 .cfg 文件。

【讨论】：

这为我省去了很多用头撞墙的麻烦。谢谢！文档中的默认 docker-compose 文件设置了此设置，它会覆盖 airflow.cfg 文件中的任何内容。

【解决方案3】：

正如其他人所说，您可以在airflow.cfg 内更改load_examples = False。但是，这要求 cfg 文件已经存在。

您可以使用 ENV 变量初始化气流数据库，而无需配置 cfg 文件。

export AIRFLOW__CORE__LOAD_EXAMPLES=False
airflow initdb

更多信息请参见docs。

【讨论】：

【解决方案4】：

在启动气流之前，请确保在 airflow.cfg 文件中将 load_example 变量设置为 False。默认情况下，它设置为 True。

load_examples = False

如果您已经启动了气流，则必须从气流 UI 中手动删除示例 DAG。单击 DAG 右侧可用的删除图标将其删除。

您可以使用airflow resetdb 命令重置数据库，而不是手动删除示例 DAG，但这会删除您的连接和变量以及其他重要信息。不要在生产环境中使用airflow resetdb 选项。

【讨论】：

【解决方案5】：

只是放

load_examples = False

进入airflow.cfg 文件并关闭并重新启动网络服务器和调度程序就可以了

【讨论】：

【解决方案6】：

在启动气流时确保改变

load_examples = False

在airflow.cfg 文件中。然后关闭并重新启动网络服务器和调度程序。

【讨论】：

【解决方案7】：

TL;DR：检查您的dags_folder 中是否只有 DAG 文件——Airflow 将递归遍历此目录并尝试加载所有.py 文件。

我已经浪费了一些时间来调试 Airflow 的类似行为：即使 load_examples = False，airflow 仍在加载大量不必要的东西，包括 example_dags。问题是我在dags_folder 中有一个virtualenv 目录venv/，而且——我没想到——Airflow 在 dags 目录中搜索 dags 递归。所以它正在从安装在该 virtualenv 中的 apache-airflow 加载 example_dags。

UPD：有一个 .airflowignore file 可以忽略来自 dags_folder 的目录

【讨论】：

【解决方案8】：

如果在airflow resetdb 并重新启动airflow 后启用了基于LDAP 的身份验证，您的登录窗口可能不会出现，并且由于缓存的登录ID（但没有密码）可能会出错。如果发生这种情况，请清除缓存并尝试。如果仍然不起作用，请关闭身份验证，停止气流并启动。然后打开身份验证停止并启动 - 您将能够看到登录窗口并使用您的 LDAP 身份验证登录 -Suresh

【讨论】：