【问题标题】:Airflow DAGs are successful but tasks are not running气流 DAG 成功但任务未运行
【发布时间】:2020-03-14 13:24:22
【问题描述】:

我正在尝试运行示例 Airflow DAG。 DAG 状态为成功,但任务未运行。谁能帮我理解为什么?

我尝试了以下方法:

  • 将开始日期更改为过去日期
  • 重新启动 Web 服务器和调度程序

这是我的代码:

import datetime as dt

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator
print('test1')
def greet():
    print('Writing in file')
    print('testing the dag')
    with open('/Users/abc/Documents/airflow_workspace/greet.txt', 'a+', encoding='utf8') as f:
        now = dt.datetime.now()
        t = now.strftime("%Y-%m-%d %H:%M")
        f.write(str(t) + '\n')
    return 'Greeted'
def respond():
    return 'Greet Responded Again'

default_args = {
    'owner': 'airflow',
    'start_date': dt.datetime(2019, 3, 12, 10, 00, 00),
    'concurrency': 1,
    'retries': 0
}

with DAG('my_simple_dag',
         default_args=default_args,
         schedule_interval='*/10 * * * *',
         ) as dag:
    opr_hello = BashOperator(task_id='say_Hi',
                             bash_command='echo "Hi!!"')

    opr_greet = PythonOperator(task_id='greet',
                               python_callable=greet)
    opr_sleep = BashOperator(task_id='sleep_me',
                             bash_command='sleep 5')

    opr_respond = PythonOperator(task_id='respond',
                                 python_callable=respond)
print('test2')
opr_hello >> opr_greet >> opr_sleep >> opr_respond

【问题讨论】:

  • 这些是新的 dagruns 还是只是过去的,因为 dag 的 start_date 较早?如果您等待下一个 dagrun,它看起来确实像其他 dagrun 或成功运行?
  • 这些是新的 dagruns。实际上它工作得很好。我通过将 AIRFLOW_HOME 路径设置为新位置来更改本地计算机中 dag 的工作目录。更改路径后,我看到了这个问题。

标签: airflow


【解决方案1】:

dag_idmy_different_dag 更改为不同的名称,它实际上会创建一个新的 DAG。
因此,假设您正确配置了气流,它现在应该可以工作了。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-11-02
    • 2021-05-03
    • 1970-01-01
    • 1970-01-01
    • 2019-07-21
    相关资源
    最近更新 更多