linux下定时器了解
Celery 框架学习笔记（不错哟）
Celery 分布式任务队列快速入门
Celery的最佳实践
Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery， 举几个实例场景中可用的例子:
- 你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果， 在任务执行ing进行时，你可以继续做其它的事情。
- 你想做一个定时任务，比如每天检测一下你们所有客户的资料，如果发现今天 是客户的生日，就给他发个短信祝福
Celery 在执行任务时需要通过一个消息中间件来接收和发送任务消息，以及存储任务结果， 一般使用rabbitMQ or Redis。所以我们需要先去安装这个软件。
Celery的构架
Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。
消息中间件
Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成，包括，RabbitMQ,Redis,MongoDB等，这里我先去了解RabbitMQ,Redis。
任务执行单元
Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中
任务结果存储
Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括Redis，MongoDB，Django ORM，AMQP等，这里我先不去看它是如何存储的，就先选用Redis来存储任务执行结果。
一般通过启动一个或多个worker进程来部署Celery。
这些worker进程连接上消息代理（以下称之为broker）来获取任务请求。
broker随机将任务请求分发给worker。
通过调用Celery的API，用户生成一个任务请求，并且将这个请求发布给broker。
在worker完成任务后，将完成的任务信息发送给result store(设置的backend)，从中获取信息。
通过启动新的worker进程并让这些进程连上broker，可以很方便的扩展worker池。
每个worker可以和其他的worker同步执行任务。
优点：
简单：一单熟悉了celery的工作流程后，配置和使用还是比较简单的
高可用：当任务执行失败或执行过程中发生连接中断，celery 会自动尝试重新执行任务
快速：一个单进程的celery每分钟可处理上百万个任务
灵活： 几乎celery的各个组件都可以被扩展及自定制
安装：
pip3 install celery
二：基本使用（windows下即可）
（一）创建一个任务文件cel.py
from celery import Celery app = Celery('tasks', broker='redis://127.0.0.1', #这里面存放任务，worker去里面获取任务，将执行结果放入backend中 注意：由于我们安装的redis配置为本机监听，所以使用127.0.0.1才可，若是使用localhost可能无法连接 backend='redis://127.0.0.1') #从这里面获取我们任务执行的结果 @app.task def add(x, y): print("running...", x, y) return x + y @app.task def cmd(comm): print(comm) return comm
（二）启动Celery Worker来开始监听并执行任务
注意：在windows下可能使用会报错
解决方案：
1.安装eventlet
pip install eventlet
2.启动时加上一个参数
celery -A <任务文件> worker -l info -P eventlet
开始使用
1.启动Celery Worker来开始监听并执行任务
celery -A cel worker -l info -P eventlet
2.在python命令行中连接celery，调用任务
D:\MyPython\day25\twisted_test>python Python 3.5.4 (v3.5.4:3f56838, Aug 8 2017, 02:17:05) [MSC v.1900 64 bit (AMD64 on win32 Type "help", "copyright", "credits" or "license" for more information. >>> from cel import add,cmd >>> t = add.delay(45,1) >>> t.get() 46
（三）设置超时处理
from celery import Celery import time app = Celery('tasks', broker='redis://127.0.0.1', backend='redis://127.0.0.1') @app.task def add(x, y): print("running...", x, y) return x + y @app.task def cmd(comm): time.sleep(10) return comm
再次启用：
>>> c = cmd.delay("ccc") >>> c.get() #会等待到10秒才会获取到值 'ccc'
[2018-06-30 15:21:11,836: INFO/MainProcess] Task cel.cmd[ff9379e7-520e-41c2-ac1d -79400e042fb8] succeeded in 10.014999999999418s: 'ccc' #会一直等待10秒才会返回给get
我们需要设置超时时间：
>>> c.get(timeout=1) #我们将任务delay交给远程后，远程已经开始执行了，不过当我们调用get时远程还是没有执行完毕而已 Traceback (most recent call last): File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\site-p ackages\celery\backends\async.py", line 255, in _wait_for_pending on_interval=on_interval): File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\site-p ackages\celery\backends\async.py", line 54, in drain_events_until raise socket.timeout() socket.timeout During handling of the above exception, another exception occurred: Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\site-p ackages\celery\result.py", line 224, in get on_message=on_message, File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\site-p ackages\celery\backends\async.py", line 188, in wait_for_pending for _ in self._wait_for_pending(result, **kwargs): File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\site-p ackages\celery\backends\async.py", line 259, in _wait_for_pending raise TimeoutError('The operation timed out.') celery.exceptions.TimeoutError: The operation timed out.
我们要么捕获错误，要么使用其他方法ready,去查看远程执行状态，False未完成，True已完成
>>> c = cmd.delay("cccde") >>> c.ready() False >>> c.ready() False >>> c.ready() False >>> c.ready() True >>> c.get() 'cccde'
（四）其他命令
1.开启多个worker在后台
celery multi start w1 -A proj -l info
2.重启
celery multi restart w1 -A proj -l info
3.停止
celery multi stop w1 -A proj -l info
4.等待任务执行完毕后停止
celery multi stopwait w1 -A proj -l info
三：项目中使用celery（常与Django一起）
项目目录：
celProject 目录 ---celery.py #这个文件必须这样命名 ---tasks.py ---tasks2.py
from __future__ import absolute_import, unicode_literals #是说下面的celery是python安装包决定路径引入，而不是当前项目 from celery import Celery #celery是指python安装包决定路径引入，.celery是当前目录引入 app = Celery('proj', #celery APP名称 broker='redis://127.0.0.1', backend='redis://127.0.0.1', include=['celProject.tasks','celProject.tasks2']) #include引入的是当前项目下的任务，为列表，可以引入多个 # Optional configuration, see the application user guide. app.conf.update( #设置配置 result_expires=3600, #设置结果缓存时间 ) if __name__ == '__main__': app.start()