【问题标题】:How to use CeleryExecutor in airflow without using mysql如何在不使用 mysql 的情况下在气流中使用 CeleryExecutor
【发布时间】:2017-04-03 20:45:42
【问题描述】:

我的后端是redis,但气流包中附带的airflow.cfg 文件仅给出了使用mysql 作为CeleryExecutor 的后端的示例。基本上不知道如何在airflow.cfg 中为redis 后端设置/替换以下sql_alchemy_conn

sql_alchemy_conn = sqlite:////Users/myself/airflow/airflow.db

尝试谷歌搜索,但没有成功。

任何示例airflow.cfg 使用redis 作为CeleryExecutor 的后端?

【问题讨论】:

    标签: redis celery airflow


    【解决方案1】:

    “sql_alchemy_conn”用于处理 DAG 运行等的元数据库。

    我猜你想为 redis 设置以下内容作为 Celery 的后端

    [core]
    executor = CeleryExecutor
    ...
    [celery]
    broker_url = redis://BROKER_URL/...
    celery_result_backend = redis://BROKER_URL/...
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-03-01
      • 2012-08-31
      • 1970-01-01
      相关资源
      最近更新 更多