Python—在Django中使用Celery

一.Django中的请求

　　Django Web中从一个http请求发起，到获得响应返回html页面的流程大致如下：

　　　　http请求发起

　　　　经过中间件

　　　http handling（request解析）

　　　　url mapping（url匹配找到对应的View）

　　　　在View中进行逻辑（包括调用Model类进行数据库的增删改查）

　　　　经过中间件

　　　　返回对应的template/response。

　　同步请求：所有逻辑处理、数据计算任务在View中处理完毕后返回response。在View处理任务时用户处于等待状态，直到页面返回结果。

　　异步请求：View中先返回response，再在后台处理任务。用户无需等待，可以继续浏览网站。当任务处理完成时，我们可以再告知用户。

二.Django中使用Celery

安装

pip3 install django-celery

配置

　　首先创建一个django项目，结构如下：

　　　　　　　　　　　　　　　　 Python—在Django中使用Celery

　　之后再settings.py的同级目录添加celeryconfig.py配置文件，更多配置信息可以参考官方文档。

import djcelery
from datetime import timedelta

djcelery.setup_loader()

# 导入任务
CELERY_IMPORTS = [
    'celeryapp.tasks'
]
# 设置队列
CELERY_QUEUES = {
    'beat_tasks': {
        'exchange': 'beat_tasks',
        'exchange_type': 'direct',
        'binding_key': 'beat_tasks'
    },
    'work_queue': {
        'exchange': 'work_queue',
        'exchange_type': 'direct',
        'binding_key': 'work_queue'
    }
}
# 设置默认列队,不符合其他队列的任务放在默认队列
CELERY_DEFAULT_QUEUE = 'work_queue'

# 有些情况下可以防止死锁
CELERYD_FORCE_EXECV = True

# 设置并发数量
CELERYD_CONCURRENCY = 4

# 每个worker最多执行100个任务，防止泄露内存
CELERYD_MAX_TASKS_PER_CHILD = 100

# 单个任务最多执行时间
CELERYD_TASK_TIME_LIMIT = 12 * 30

# 设置定时执行
CELERYBAET_SCHEDULE = {
    'task1': {
        'task': 'course-task',
        'schedule': timedelta(seconds=5),
        'options': {
            'queue': 'beat_tasks'
        }
    }
}

CELERY_ACCEPT_CONTENT = ['pickle', 'json', ]

BROKER_BACKEND = 'redis'
BROKER_URL = 'redis://localhost:6379/1'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/2'

celeryconfig.py