无法在 Airflow Worker 中创建队列答案

【问题标题】：Unable to Create Queues in Airflow Workers无法在 Airflow Worker 中创建队列
【发布时间】：2021-05-06 15:54:14
【问题描述】：

我正在使用这个 compose 文件通过 celery 执行器运行 Airflow：celery executor。 yaml 文件中也有一个花服务来监控工人。我想为工人添加队列。当我按原样运行 docker-compose 文件时，我可以在 Flower 的 UI 上看到工作人员。当我将 worker 服务的命令标签从“worker”更改为“worker -q worker_subdag, default”时，Flower 的 UI 中似乎没有运行任何 worker。

command: worker -q worker_subdag, default

我也尝试了以下命令，但没有运气：

airflow worker -q worker_subdag, default
airflow celery worker -q worker_subdag, default
celery worker -q worker_subdag, default

【问题讨论】：

我在撰写文件中没有看到 RabbitMQ，您的 Celery 代理是什么/在哪里？
Redis 用作消息代理，其服务定义在文件顶部。

标签： queue celery airflow

【解决方案1】：

不要在命令中使用 -Q 标志设置队列，而是在 docker-compose 的环境部分设置它：

 environment:
      <<: *airflow-common-env
      DUMB_INIT_SETSID: "0"
      AIRFLOW__OPERATORS__DEFAULT_QUEUE: worker_subdag

【讨论】：