【问题标题】:Run airflow process and airflow webserver as airflow user以气流用户身份运行气流进程和气流网络服务器
【发布时间】:2017-11-14 17:00:37
【问题描述】:

问题:我正在 GCP 上设置一个 Google Compute Engine VM,上面安装了airflow。我现在尝试按照http://airflow.readthedocs.io/en/latest/configuration.html#integration-with-systemd 上的说明将airflowsystemd 集成,但是它假设Airflow 将在airflow:airflow 下运行。

我如何设置气流安装,以便当该 VM 上的任何用户从 shell 运行 airflow 时,它在后端以 airflow 用户身份运行。类似于在 hive 用户下运行的 hive 进程。

虚拟机上的操作系统:CentOS 7

【问题讨论】:

    标签: google-cloud-platform centos7 airflow apache-airflow


    【解决方案1】:

    您是否尝试过按照链接的官方文档中列出的说明进行操作?我相信只要你使用Airflow supplied SystemD configs,所有进程都应该开始使用airflow:airflow

    这发生在these two lines

    当然,这是假设您专门使用 systemd 来启动服务。如果您尝试手动运行airflow webserver,它将以您当前的用户身份启动。

    【讨论】:

      【解决方案2】:

      您可以在airflow.cfgcore 部分配置default_impersonation,以将所有任务设置为默认以airflow 用户身份运行。设置完成后,您只需以airflow 用户身份启动气流网络服务器/调度程序/workers/flower(取决于您的执行程序/设置)。

      这应该涵盖所有基础,但请记住对于仅设置默认用户的任务,它可以在每个 DAG 或任务级别上被覆盖

      【讨论】:

        猜你喜欢
        • 2018-06-09
        • 2021-03-06
        • 1970-01-01
        • 2022-08-15
        • 2021-06-12
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2022-10-10
        相关资源
        最近更新 更多