【发布时间】:2019-10-08 18:07:14
【问题描述】:
我正在尝试设置气流集群。我打算使用 redis 作为 celery 后端。 我见过有人成功使用哨兵redis。我想知道是否可以改用redis集群? 如果没有,那为什么不呢?
【问题讨论】:
我正在尝试设置气流集群。我打算使用 redis 作为 celery 后端。 我见过有人成功使用哨兵redis。我想知道是否可以改用redis集群? 如果没有,那为什么不呢?
【问题讨论】:
Celery 不支持将 Redis 集群用作代理。它可以使用 Redis 高可用设置作为代理(使用 Sentinel),但不支持将 Redis 集群用作代理。
参考:
Airflow CROSSSLOT Keys in request don't hash to the same slot error using AWS ElastiCache
How to use more than 2 redis nodes in django celery
要让 Redis 集群正常工作,我们需要更改 celery 后端!不是一个可行的解决方案。
【讨论】: