我想在asyncio做并行http请求任务，但是我发现python-requests会阻塞asyncio的事件循环。我找到了aiohttp，但它无法使用http代理提供http请求的服务。
所以我想知道有没有办法在asyncio的帮助下进行异步http请求。
【问题讨论】：
subprocess 来并行您的代码。
requests（如google-auth）并且不能简单地重写以使用aiohttp的情况也很有用。
标签： python python-requests python-3.4 aiohttp
Requests 目前不支持asyncio，并且没有提供此类支持的计划。您可能可以实现一个自定义的“传输适配器”（如 here 所讨论的），它知道如何使用 asyncio。
如果我发现自己有一些时间，我可能会真正研究一下，但我不能保证任何事情。
【讨论】：
要将请求（或任何其他阻塞库）与 asyncio 一起使用，您可以使用 BaseEventLoop.run_in_executor 在另一个线程中运行一个函数并从中获取结果。例如：
import asyncio
import requests
@asyncio.coroutine
def main():
loop = asyncio.get_event_loop()
future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
response1 = yield from future1
response2 = yield from future2
print(response1.text)
print(response2.text)
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
这将同时获得两个响应。
在 python 3.5 中，您可以使用新的 await/async 语法：
import asyncio
import requests
async def main():
loop = asyncio.get_event_loop()
future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
response1 = await future1
response2 = await future2
print(response1.text)
print(response2.text)
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
请参阅PEP0492 了解更多信息。
【讨论】：
requests.get 将在另一个线程中执行。我相信 asyncio 的一大优点是保持单线程的想法：不必处理共享内存、锁定等。我认为我的困惑在于您的示例同时使用 asyncio 和 concurrent.futures 模块.
aiohttp 已经可以与 HTTP 代理一起使用：
import asyncio
import aiohttp
@asyncio.coroutine
def do_request():
proxy_url = 'http://localhost:8118' # your proxy address
response = yield from aiohttp.request(
'GET', 'http://google.com',
proxy=proxy_url,
)
return response
loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())
【讨论】：
Pimin Konstantin Kefaloukos 的文章中有一个很好的异步/等待循环和线程案例 Easy parallel HTTP requests with Python and asyncio:
为了最小化总完成时间，我们可以增加线程池的大小以匹配我们必须发出的请求数。幸运的是，这很容易做到，我们将在接下来看到。下面的代码清单是一个示例，说明如何使用包含 20 个工作线程的线程池发出 20 个异步 HTTP 请求：
# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests
async def main():
with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:
loop = asyncio.get_event_loop()
futures = [
loop.run_in_executor(
executor,
requests.get,
'http://example.org/'
)
for i in range(20)
]
for response in await asyncio.gather(*futures):
pass
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
【讨论】：
for i in range(10000) 做，因为一个请求可能会失败或超时，对吧？
requests 不支持异步，所以需要创建线程来获得并发。
上面的答案仍然使用旧的 Python 3.4 风格的协程。如果你有 Python 3.5+，这是你会写的。
aiohttp 现在支持http代理
import aiohttp
import asyncio
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def main():
urls = [
'http://python.org',
'https://google.com',
'http://yifei.me'
]
tasks = []
async with aiohttp.ClientSession() as session:
for url in urls:
tasks.append(fetch(session, url))
htmls = await asyncio.gather(*tasks)
for html in htmls:
print(html[:100])
if __name__ == '__main__':
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
【讨论】：
免责声明：Following code creates different threads for each function.
这可能对某些情况有用，因为它更易于使用。但是要知道它不是异步的，而是使用多个线程产生异步的错觉，尽管装饰器建议这样做。
要使任何函数非阻塞，只需复制装饰器并使用回调函数作为参数装饰任何函数。回调函数会接收函数返回的数据。
import asyncio
import requests
def run_async(callback):
def inner(func):
def wrapper(*args, **kwargs):
def __exec():
out = func(*args, **kwargs)
callback(out)
return out
return asyncio.get_event_loop().run_in_executor(None, __exec)
return wrapper
return inner
def _callback(*args):
print(args)
# Must provide a callback function, callback func will be executed after the func completes execution !!
@run_async(_callback)
def get(url):
return requests.get(url)
get("https://google.com")
print("Non blocking code ran !!")
【讨论】：
考虑到 aiohttp 是功能齐全的 Web 框架，我建议使用更轻量级的东西，例如支持异步请求的 httpx (https://www.python-httpx.org/)。它具有与请求几乎相同的 api：
>>> async with httpx.AsyncClient() as client:
... r = await client.get('https://www.example.com/')
...
>>> r
<Response [200 OK]>
【讨论】：