【问题标题】:How to set different visibility_timeout for different queue in celery-sqs如何为 celery-sqs 中的不同队列设置不同的 visibility_timeout
【发布时间】:2018-12-27 07:33:49
【问题描述】:

我正在使用 celery 和 sqs 进行后台任务处理。 我们有多个任务在运行,我想为不同的任务设置不同的visibility_timeout;是否可以在 settings.py 文件中执行此操作。 当前的 settings.py 文件是

BROKER_TRANSPORT_OPTIONS = {
    'region': 'ap-southeast-1',
    'polling_interval': 10,
    'queue_name_prefix': 'dev-',
    'visibility_timeout': 43200,
}

【问题讨论】:

    标签: celery amazon-sqs django-celery


    【解决方案1】:

    这应该可以通过几种不同的方式实现。我相信您可以为您的案例做的最直接的事情是利用 Celery 的task routing 功能。配置可能看起来像这样

    app.conf.task_routes = ([
        ('feed.tasks.*', {'queue': 'feeds'}),
        ('web.tasks.*', {'queue': 'web'}),
        (re.compile(r'(video|image)\.tasks\..*'), {'queue': 'media'}),
    ],)
    

    另请参阅:message routing。

    或者,您还可以“即时”路由任务,在发送任务时随心所欲地覆盖 queue/routing_key 的应用程序默认值。比如……

    >>> from feeds.tasks import import_feed
    >>> import_feed.apply_async(args=['http://cnn.com/rss'],
    ...                         queue='feed_tasks',
    ...                         routing_key='feed.import')
    

    【讨论】:

      猜你喜欢
      • 2017-12-31
      • 2023-03-04
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-09-25
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多