【发布时间】:2021-02-12 18:46:27
【问题描述】:
我正在尝试在我的 Django 应用程序中集成测试并发 celery 任务。我希望该任务在 pytest 集成测试期间在工作人员上实际同时运行,但我无法完成这项工作。
假设我有以下基本的芹菜任务:
@shared_task
def sleep_task(secs):
print(f"Sleeping for {secs} seconds...")
for i in range(secs):
time.sleep(i)
print(f"\t{i + 1}")
return "DONE"
在脚本中同时运行任务可以正常工作:
# script
sleep_task.delay(3)
sleep_task.delay(3)
# output
Sleeping for 3 seconds...
Sleeping for 3 seconds...
1
1
2
2
3
3
但是,我无法在单元测试中复制这种异步行为。在conftest.py 中,我设置了代理和结果后端:
import pytest
pytest_plugins = ("celery.contrib.pytest",)
@pytest.fixture(scope="session")
def celery_config():
return {"broker_url": "memory://", "result_backend": "rpc://"}
这是我的单元测试。 celery_session_app 和 celery_session_worker 设置用于测试的 celery app 和 worker (docs):
def test_concurrent_sleep_tasks(celery_session_app, celery_session_worker):
sleep_task.delay(3)
sleep_task.delay(3)
# output
Sleeping for 3 seconds...
1
2
3
Sleeping for 3 seconds...
1
2
3
看起来任务正在同步运行。反正有异步运行任务吗?
【问题讨论】:
-
我认为问题出在
time.sleep(3)上,它阻止了脚本的整个执行。你能切换到非阻塞的asyncio.sleep(3)看看是否可行吗?
标签: python asynchronous concurrency celery celery-task