【问题标题】:Configuring fs_default connection in Airflow在 Airflow 中配置 fs_default 连接
【发布时间】:2020-07-05 21:23:50
【问题描述】:

我想配置 Airflow 的fs_default 连接,基本上是为了确保始终从同一起点(我的目录/存储库的根目录)解析路径。

我使用 export AIRFLOW_HOME=./airflow_home 设置了我的气流主页。因此,我在项目的根目录下有一个目录airflow_home

然后我把它放在我的airflow.cfg:

[core]

# The folder where your airflow pipelines live, most likely a
# subfolder in a code repository. This path must be absolute.
dags_folder = ./airflow_home/dags

fs_default_conn = ./airflow_home/../

# The folder where airflow should store its log files
# This path must be absolute
base_log_folder = ./airflow_home/logs

我做了一个airflow resetdb,然后是airflow initdb,然后启动了网络服务器(和调度程序)。我进入 Admin > Connection 检查我的更改是否被考虑在内,但显然没有。 fs_defaultconnection 在 Extras 字段中仍然有这个:

{"path": "/"}

知道应该怎么做吗?

【问题讨论】:

    标签: config airflow


    【解决方案1】:

    您需要使用 Airflow UI / CLI 或通过环境变量创建连接。将其添加到airflow.cfg 文件将无法正常工作。

    查看https://airflow.apache.org/docs/stable/howto/connection/index.html#creating-a-connection-with-the-ui 了解如何创建连接。

    【讨论】:

      猜你喜欢
      • 2022-07-05
      • 2022-11-21
      • 2019-04-30
      • 2021-02-28
      • 2023-01-25
      • 2018-01-09
      • 1970-01-01
      • 1970-01-01
      • 2020-07-11
      相关资源
      最近更新 更多