【问题标题】:Airflow scheduler fails to start tasks气流调度程序无法启动任务
【发布时间】:2020-04-08 13:56:06
【问题描述】:

我的问题:

气流调度程序没有分配任务。

背景:

我在本地机器上使用 sqlitedb 成功运行了 Airflow。示例 dag 以及我的自定义 DAG 运行没有任何问题。 当我尝试从 sqlite 数据库迁移到 Postgres(使用 this 指南)时,调度程序似乎不再分配任务。 DAG 卡在“运行”状态,但没有任何 DAG 中的任务被分配状态。

我已采取的故障排除步骤

  • Web 服务器和调度程序正在运行
  • DAG 设置为“开启”。
  • 运行气流 initdb 后,公共架构将填充所有气流表。
  • 我的连接字符串中的用户拥有数据库以及公共架构中的每个表。

调度程序日志

调度程序日志不断发布此警告,但我无法使用它找到任何有用的信息,除了 this 其他没有回复的帖子。

[2020-04-08 09:39:17,907] {dag_processing.py:556} INFO - Launched DagFileProcessorManager with pid: 44144
[2020-04-08 09:39:17,916] {settings.py:54} INFO - Configured default timezone <Timezone [UTC]>
[2020-04-08 09:39:17,927] {settings.py:253} INFO - settings.configure_orm(): Using pool settings. pool_size=5, max_overflow=10, pool_recycle=1800, pid=44144
[2020-04-08 09:39:19,914] {dag_processing.py:663} WARNING - DagFileProcessorManager (PID=44144) exited with exit code -11 - re-launching

环境

  • PostgreSQL 版本 12.1
  • 气流 v1.10.9
  • 这一切都在 conda 虚拟环境中的 MacBook Pro (Catalina) 上运行。

【问题讨论】:

    标签: postgresql airflow airflow-scheduler postgresql-12


    【解决方案1】:

    Postgres 是使用postgresapp 安装的。将 postgresapp 更新到 2.3.3e 版本。 PostgresSQL 仍然是 12.1 版本,但通过更新 postgresapp,问题得到了解决。

    【讨论】:

      猜你喜欢
      • 2020-05-24
      • 2023-04-04
      • 2019-04-24
      • 1970-01-01
      • 2022-08-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多