【问题标题】:Unable to create dag with apache airflow无法使用 apache 气流创建 dag
【发布时间】:2021-08-18 01:56:20
【问题描述】:

我正在运行 airflow 2.0,第一次设置气流 dag,并遵循快速入门教程。

创建并运行 py 文件后,我没有看到创建的 dag,它没有为我列出。

设置: airflow.cfg:dags_folder = /Users/vik/src/airflow/dags 我的 python 文件在这个文件夹中。这里没有错误。

我可以在 example-dags 中看到示例 dag。

我做了气流db init 气流网络服务器 气流调度器 然后尝试列出 dags 我想我错过了什么

【问题讨论】:

    标签: airflow


    【解决方案1】:

    我不知道你是如何安装所有东西的,但我强烈推荐Astronomer CLI 以简化和快速设置。有了它,您将能够非常快速地设置第一个 DAG。 Here 也是帮助您了解如何安装/设置一切的视频教程。

    【讨论】:

      【解决方案2】:

      有几件事可以尝试:

      • 确保scheduler正在运行(运行airflow scheduler)或尝试重新启动它。
      • 使用 Airflow CLI,运行 airflow config list 并确保加载的配置确实符合您的预期,检查 dags_folder 的值。
      • 尝试从 CLI 运行 airflow dags list,如果您的 dag 显示在结果中,请检查 filepath
      • 如果解析 DAG 时出错,因此无法被调度程序加载,您可以在 ${AIRFLOW_HOME}/logs/scheduler/${date}/your_dag_id.log 中找到日志

      【讨论】:

      • 我找到了一些成功,我在发布之前完成了以上所有操作。似乎在我重新启动所有服务之前,调度程序并没有拿起 dag。或者可能存在延迟。每次我添加新的 dag 时,我们是否需要重新启动everyhting?
      • 不,这根本不需要。尽管自从您添加新的 DAG 并且调度程序发现它之后,存在一定的时间间隔。这是由名为 `min_file_process_interval` 的设置定义的。
      • 这里是docs的链接。
      • 另请检查:dag_dir_list_interval 我认为这对您的问题更准确。让我知道这是否对您有用!
      猜你喜欢
      • 2020-07-04
      • 1970-01-01
      • 1970-01-01
      • 2022-10-15
      • 1970-01-01
      • 1970-01-01
      • 2019-09-16
      • 2018-08-05
      • 1970-01-01
      相关资源
      最近更新 更多