【问题标题】:Is it possible to use redis cluster instead of sentinel as celery backend for airflow cluster是否可以使用 redis 集群而不是哨兵作为气流集群的 celery 后端
【发布时间】:2019-10-08 18:07:14
【问题描述】:

我正在尝试设置气流集群。我打算使用 redis 作为 celery 后端。 我见过有人成功使用哨兵redis。我想知道是否可以改用redis集群? 如果没有,那为什么不呢?

【问题讨论】:

    标签: redis celery airflow


    【解决方案1】:

    Celery 不支持将 Redis 集群用作代理。它可以使用 Redis 高可用设置作为代理(使用 Sentinel),但不支持将 Redis 集群用作代理。

    参考:

    Airflow CROSSSLOT Keys in request don't hash to the same slot error using AWS ElastiCache

    How to use more than 2 redis nodes in django celery

    要让 Redis 集群正常工作,我们需要更改 celery 后端!不是一个可行的解决方案。

    https://github.com/hbasria/celery-redis-cluster-backend

    【讨论】:

      猜你喜欢
      • 2020-03-15
      • 2016-05-23
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-08-17
      • 2021-07-12
      • 1970-01-01
      相关资源
      最近更新 更多