发送同时请求python（一次全部）

Question

我正在尝试创建一个脚本，可以同时向一个页面发送超过 1000 个请求。但是请求带有线程（1000）线程的库。似乎在 1 秒内完成了前 50 个左右的请求，而其他 9950 个请求则花费了相当长的时间。我是这样测量的。

def print_to_cmd(strinng):
    queueLock.acquire()
    print strinng
    queueLock.release()

    start = time.time()
    resp = requests.get('http://test.net/', headers=header)
    end = time.time()

    print_to_cmd(str(end-start))

我认为请求库限制了它们的发送速度。

有人知道在 python 中同时发送请求的方法吗？我有一个上传 200mb 的 VPS，所以这不是问题，它与 python 或请求库限制它有关。他们都需要在 1 秒内互相访问网站。

感谢阅读，希望有人能提供帮助。

Answer 1

我通常发现最好的解决方案是使用像 tornado 这样的异步库。然而，我发现最简单的解决方案是使用 ThreadPoolExecutor。

---

import requests
from concurrent.futures import ThreadPoolExecutor

def get_url(url):
    return requests.get(url)
with ThreadPoolExecutor(max_workers=50) as pool:
    print(list(pool.map(get_url,list_of_urls)))

Answer 2

我知道这是一个老问题，但您现在可以使用 asyncio 和 aiohttp 来做到这一点。

import asyncio
import aiohttp
from aiohttp import ClientSession

async def fetch_html(url: str, session: ClientSession, **kwargs) -> str:
    resp = await session.request(method="GET", url=url, **kwargs)
    resp.raise_for_status()
    return await resp.text()

async def make_requests(url: str, **kwargs) -> None:
    async with ClientSession() as session:
        tasks = []
        for i in range(1,1000):
            tasks.append(
                fetch_html(url=url, session=session, **kwargs)
            )
        results = await asyncio.gather(*tasks)
        # do something with results

if __name__ == "__main__":
    asyncio.run(make_requests(url='http://test.net/'))

您可以阅读更多相关信息并查看示例 here。

Answer 3

假设您知道自己在做什么，我首先建议您实施带有抖动的退避策略，以防止“可预测的雷击囤积”到您的服务器。也就是说，你应该考虑做一些threading

import threading
class FuncThread(threading.Thread):
    def __init__(self, target, *args):
        self._target = target
        self._args = args
        threading.Thread.__init__(self)

    def run(self):
        self._target(*self._args)

这样你就可以做类似的事情

t = FuncThread(doApiCall, url)
t.start()

你的方法 doApiCall 是这样定义的

def doApiCall(self, url):