【问题标题】:Where should I create a folder with my own DAGs for Airflow?我应该在哪里为 Airflow 创建一个包含我自己的 DAG 的文件夹?
【发布时间】:2019-07-08 11:27:08
【问题描述】:

我必须在 Windows 上使用 Airflow。我是新手,所以我有很多问题。

所以,我已经使用 Ubuntu 完成了教程之一中的所有步骤:

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

Python 版本:Python2.7.15+。

我有我的 /home/user_name/ 我在其中创建了 AirflowHome 文件夹。然后我做了:

nano ~/.bashrc
export AIRFLOW_HOME=~/home/user_name/AirflowHome (#wrote on the last string)

我跑了

airflow initdb

在 /home/user_name/ 中。

应该改为在 /home/user_name/AirflowHome/ 中执行此操作?

我也跑了:

airflow webserver -p 8080

它从未完成(可以吗?),但它似乎可以工作,因为我能够到达主气流窗口。

我已经尝试将“dags”文件夹(带有我自己的 dags)放到

/home/user_name/airflow/
/home/user_name/AirflowHome/
/home/user_name/.local/lib/python2.7/site-packages/airflow/dag/

这些都没有在 Airflow 网络服务器上显示我的 SampleFile.py(我检查了文件中的 dag_id,没关系)。

现在我需要了解我可以在哪里创建一个“dags”文件夹来放置我的所有 DAG。

如果您能帮我解决问题,我将不胜感激。

【问题讨论】:

    标签: python python-2.7 ubuntu airflow


    【解决方案1】:

    您的 DAG 文件夹的正确路径在 airflow.cfg 文件中设置(它位于 /home/user_name/AirflowHome/airflow.cfg)。检查dags_folder参数(实际上是第一个)。

    它从未完成(可以吗?)

    是的,没关系。您可以添加-D 参数以在后台启动它。

    顺便说一句,我记得,您还应该在另一个终端中运行airflow scheduler。

    【讨论】:

    • 检查了airflow.cfg,没有解决问题。我的文件仍然没有出现在网络服务器上。但是,在运行“airflow webserver”时,它会从正确的文件夹中读取 DAG。
    【解决方案2】:

    我解决了这个问题。

    在airflow.cfg 我把 dags_folder=/home/user_name/.local/lib/python2.7/site-packages/airflow/example_dags .

    成功了。

    当你需要添加文件时,将其放入文件夹并运行 airflow initdb 在 Ubuntu 中。当您需要从此文件夹中删除文件时,请删除该文件,然后注销并登录到 Windows,然后运行 airflow db init 和 airflow webserver 在 Ubuntu 中。

    【讨论】:

      猜你喜欢
      • 2010-10-30
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-02-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-10-15
      相关资源
      最近更新 更多