我如何从 DAG 气流导入我自己的模块

Question

我是气流的新手，非常感谢您的帮助： 我的项目看起来像这样：
--AIRFLOWHOME
----狗
------my_dag.py
------实验室
--------_在里面_.py
------db_connections.py

在文件 my_dag.py 中，我正在尝试像这样导入我的模块：

从实验室导入 db_connection

看起来不错，但是当我尝试运行以下命令时 气流 dags 列表导入错误
我得到一个错误： 导入错误：无法从“实验室”导入名称“db_connection”

我的气流没有安装在 Docker 上

我怎么了？

我试着这样做， sys.path.append('C:\Users\xxxx\AIRFLOWHOME\dags\labs') 但这没有帮助

谢谢你！

Answer 1

Airflow 允许您在 DAG 和 Airflow 配置中使用自己的 Python 模块。下面的文章将介绍如何创建自己的模块以便 Airflow 正确加载它，以及如何在模块未正确加载时诊断问题。

通常，您希望在 Airflow 部署中使用自己的 Python 代码，例如公共代码、库，您可能希望使用共享的 Python 代码生成 DAG 并拥有多个 DAG Python 文件。

您可以通过以下方式之一进行操作：

将您的模块添加到 Airflow 自动添加到 PYTHONPATH 的文件夹之一

添加额外的文件夹，您将代码保存到 PYTHONPATH

将您的代码打包到 Python 包中，并与 Airflow 一起安装。