【问题标题】:Airflow webserver not starting(first time)气流网络服务器未启动(第一次)
【发布时间】:2021-06-27 13:50:39
【问题描述】:

我的环境是 RHEL VM、Python 3.6、AWS RDS 上的 Postgres DB。 我是一个新手,开始学习 Airflow 的用法。 我遵循了来自:https://medium.com/@klogic/introduction-of-airflow-tool-for-create-etl-pipeline-dc37ad049211

的指导

airflow init db 阶段,我使用以下命令创建了一个新的管理员用户:FLASK_APP=airflow.www.app flask fab create-admin

下一步是,airflow webserver -p 8080,但它不起作用。它显示的错误是:

这 4 名工人来自哪里?如何解决这个问题?我检查了我的 postgres 数据库,并添加了新表,即 - 'job'、'dag' 和 'dag_pickle' 谢谢。

【问题讨论】:

    标签: airflow amazon-rds rhel


    【解决方案1】:

    检查您的虚拟机可用的内存。 Airflow 默认启动 4 名工作人员,他们非常需要内存(取决于您的配置)。增加内存应该有帮助

    【讨论】:

    • 感谢您的建议。我将基本 VM 内存从 2GB 增加到 4GB,但我仍然遇到这个问题。它显示的日志与以前相同。
    • 当我执行“airflow db init”时,它显示“初始化完成”,在下一步“airflow webserver”中,它处于引导工人-工人超时-工人退出的无限循环中。
    • 您需要查看系统中的日志。某些事情正在扼杀您的员工,但没有日志就无法判断是什么以及为什么
    猜你喜欢
    • 2016-12-28
    • 2018-06-09
    • 1970-01-01
    • 1970-01-01
    • 2019-09-07
    • 1970-01-01
    • 2021-03-06
    • 2018-09-24
    • 2017-04-22
    相关资源
    最近更新 更多