是否可以让 grequests 和 requests_cache 一起工作？

Question

看这段代码：

import requests
import grequests
import requests_cache
requests_cache.install_cache('bla')

urls = [
    'http://www.heroku.com',
    'http://python-tablib.org',
    'http://httpbin.org',
    'http://python-requests.org',
    'http://kennethreitz.com'
]

rs = (grequests.get(u) for u in urls)
results = grequests.map(rs)

我希望执行此操作后，我会在当前目录中找到bla.sqlite 文件并执行

results = grequests.map(rs)

会更快，因为数据将从 sqlite 缓存中获取。不幸的是，这不是真的，根本没有创建文件，也没有加速。当我使用请求而不是 grequests 时，一切正常。所以问题是标题说：是否可以让 grequests 和 requests_cache 一起工作？如果可以，如何？

Answer 1

requests_cache.install_cache() 函数修补了requests.Session，但您已经导入了grequests，它使用了：

from requests import Session

因此，grequests 从不使用修补过的会话对象。

将导入移动到安装缓存之后：

import requests_cache
requests_cache.install_cache('bla')
import grequests

或者，创建一个CachedSession object 并将其作为session 参数传递给grequests.get()（及相关）方法：

import grequests
import requests_cache

session = requests_cache.CachedSession('bla')

urls = [
    'http://www.heroku.com',
    'http://python-tablib.org',
    'http://httpbin.org',
    'http://python-requests.org',
    'http://kennethreitz.com'
]

rs = (grequests.get(u, session=session) for u in urls)
results = grequests.map(rs)

考虑到缓存存储后端可能无法安全地处理并发访问。例如，sqlite 后端使用线程锁，这很可能会发生冲突。