【问题标题】:Airflow DAGs file directory tree is not updated?Airflow DAGs 文件目录树没有更新?
【发布时间】:2020-01-20 06:31:40
【问题描述】:

Airflow 正在使用 Google Cloud Composer,版本是 1.10.2-composer。

我错误地将 DAG 文件 (tutorial.py) 上传到一个目录,例如这个 tutorial.py/tutorial.py。

当我删除它并再次上传时。 我从堆栈驱动程序日志中看到了错误信息。

[Errno 21] 是目录:'/home/airflow/gcs/dags/tutorial.py'

我该如何解决?

附: 我必须使用新名称上传 tutorial.py,例如 tutorial_test.py。 但我不想这样。

【问题讨论】:

    标签: python airflow google-cloud-composer


    【解决方案1】:

    您遇到此问题是因为您将“/home/airflow/gcs/dags/tutorial.py”设置为目的地。但是,flag '--destination' 设置目标文件夹,而不是文件。在这种情况下,“/home/airflow/gcs/dags/tutorial.py”是文件夹名称。因此,Composer 创建了一个路径“/home/airflow/gcs/dags/tutorial.py”。

    因此,请以正确的方式使用'--destination'flag

    当您将文件放入文件夹'/home/airflow/gcs/dags/tutorial.py'时,该文件夹会同时在GCS中自动删除,因为它变为空,因此您无法再访问该文件夹。第二个命令将文件“tutorial.py”放在文件夹“/home/airflow/gcs/dags/”中。

    更多参考请参考Public Issue Tracker

    【讨论】:

    • 谢谢。在执行命令之前,我会仔细阅读Doc。
    猜你喜欢
    • 2022-08-06
    • 2023-01-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-08-12
    • 1970-01-01
    • 1970-01-01
    • 2022-11-08
    相关资源
    最近更新 更多