【问题标题】:Run celery tasks concurrently using pytest使用 pytest 同时运行 celery 任务
【发布时间】:2021-02-12 18:46:27
【问题描述】:

我正在尝试在我的 Django 应用程序中集成测试并发 celery 任务。我希望该任务在 pytest 集成测试期间在工作人员上实际同时运行,但我无法完成这项工作。

假设我有以下基本的芹菜任务:

@shared_task
def sleep_task(secs):
    print(f"Sleeping for {secs} seconds...")
    for i in range(secs):
        time.sleep(i)
        print(f"\t{i + 1}")
    return "DONE"

在脚本中同时运行任务可以正常工作:

# script
sleep_task.delay(3)
sleep_task.delay(3)

# output
Sleeping for 3 seconds...
Sleeping for 3 seconds...
1
1
2
2
3
3

但是,我无法在单元测试中复制这种异步行为。在conftest.py 中,我设置了代理和结果后端:

import pytest

pytest_plugins = ("celery.contrib.pytest",)

@pytest.fixture(scope="session")
def celery_config():
    return {"broker_url": "memory://", "result_backend": "rpc://"}

这是我的单元测试。 celery_session_app 和 celery_session_worker 设置用于测试的 celery app 和 worker (docs):

def test_concurrent_sleep_tasks(celery_session_app, celery_session_worker):
    sleep_task.delay(3)
    sleep_task.delay(3)

# output
Sleeping for 3 seconds...
1
2
3
Sleeping for 3 seconds...
1
2
3

看起来任务正在同步运行。反正有异步运行任务吗?

【问题讨论】:

  • 我认为问题出在time.sleep(3) 上,它阻止了脚本的整个执行。你能切换到非阻塞的asyncio.sleep(3) 看看是否可行吗?

标签: python asynchronous concurrency celery celery-task


【解决方案1】:

celery_session_worker 夹具正在启动一个并发为 1 的celery worker。这是在 celery.contrib 中硬编码的,目前不可配置。由于并发为 1,它一次只会处理 1 个任务。

另一种解决方案是编写自己的固定装置来启动具有 2 个或更多并发的工作器。

【讨论】:

  • 写了我自己的工人夹具,并发设置为 2,但没有运气。看起来我必须在我的 pytest 运行期间通过启动队列和工作人员来走正常路线才能让它工作,这还不错。
猜你喜欢
  • 2015-10-24
  • 2021-06-15
  • 2014-10-23
  • 2022-11-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-10-22
  • 2014-12-02
相关资源
最近更新 更多