使用 aiohttp 的 HEAD 请求很慢

Question

给定一个包含 50k 个网站 url 的列表，我的任务是找出其中哪些是可用的/可访问的。这个想法只是向每个 URL 发送一个HEAD 请求并查看状态响应。据我所知，异步方法是可行的方法，现在我使用asyncio 和aiohttp。

我想出了以下代码，但速度非常糟糕。在我的 10mbit 连接上，1000 个 URL 大约需要 200 秒。我不知道期望什么速度，但我是 Python 异步编程的新手，所以我认为我在某个地方走错了。如您所见，我尝试将允许的同时连接数增加到 1000（从默认值 100 增加），并将 DNS 解析的持续时间保留在缓存中；也没有什么大的效果。环境有 Python 3.6 和aiohttp 3.5.4。

也感谢与问题无关的代码审查。

import asyncio
import time
from socket import gaierror
from typing import List, Tuple

import aiohttp
from aiohttp.client_exceptions import TooManyRedirects

# Using a non-default user-agent seems to avoid lots of 403 (Forbidden) errors
HEADERS = {
    'user-agent': ('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) '
                   'AppleWebKit/537.36 (KHTML, like Gecko) '
                   'Chrome/45.0.2454.101 Safari/537.36'),
}


async def get_status_code(session: aiohttp.ClientSession, url: str) -> Tuple[int, str]:
    try:
        # A HEAD request is quicker than a GET request
        resp = await session.head(url, allow_redirects=True, ssl=False, headers=HEADERS)
        async with resp:
            status = resp.status
            reason = resp.reason
        if status == 405:
            # HEAD request not allowed, fall back on GET
            resp = await session.get(
                url, allow_redirects=True, ssl=False, headers=HEADERS)
            async with resp:
                status = resp.status
                reason = resp.reason
        return (status, reason)
    except aiohttp.InvalidURL as e:
        return (900, str(e))
    except aiohttp.ClientConnectorError:
        return (901, "Unreachable")
    except gaierror as e:
        return (902, str(e))
    except aiohttp.ServerDisconnectedError as e:
        return (903, str(e))
    except aiohttp.ClientOSError as e:
        return (904, str(e))
    except TooManyRedirects as e:
        return (905, str(e))
    except aiohttp.ClientResponseError as e:
        return (906, str(e))
    except aiohttp.ServerTimeoutError:
        return (907, "Connection timeout")
    except asyncio.TimeoutError:
        return (908, "Connection timeout")


async def get_status_codes(loop: asyncio.events.AbstractEventLoop, urls: List[str],
                           timeout: int) -> List[Tuple[int, str]]:
    conn = aiohttp.TCPConnector(limit=1000, ttl_dns_cache=300)
    client_timeout = aiohttp.ClientTimeout(connect=timeout)
    async with aiohttp.ClientSession(
            loop=loop, timeout=client_timeout, connector=conn) as session:
        codes = await asyncio.gather(*(get_status_code(session, url) for url in urls))
        return codes


def poll_urls(urls: List[str], timeout=20) -> List[Tuple[int, str]]:
    """
    :param timeout: in seconds
    """
    print("Started polling")
    time1 = time.time()
    loop = asyncio.get_event_loop()
    codes = loop.run_until_complete(get_status_codes(loop, urls, timeout))
    time2 = time.time()
    dt = time2 - time1
    print(f"Polled {len(urls)} websites in {dt:.1f} seconds "
          f"at {len(urls)/dt:.3f} URLs/sec")
    return codes

Answer 1

现在您正在一次启动所有请求。因此，瓶颈可能出现在某处。为避免这种情况，可以使用semaphore：

# code

sem = asyncio.Semaphore(200)


async def get_status_code(session: aiohttp.ClientSession, url: str) -> Tuple[int, str]:
    try:
        async with sem:
            resp = await session.head(url, allow_redirects=True, ssl=False, headers=HEADERS)
            # code

我用以下方式测试了它：

poll_urls([
    'http://httpbin.org/delay/1' 
    for _ 
    in range(2000)
])

得到：

Started polling
Polled 2000 websites in 13.2 seconds at 151.300 URLs/sec

虽然它请求单个主机，但它表明异步方法可以完成这项工作：13 秒。

还有很多事情可以做：

• 你应该发挥信号量值来获得更好的性能 适合您的具体环境和任务。

• 尝试将超时时间从 20 降低到，比如说，5 秒：因为你只是在做头部请求，所以不需要太多 时间。如果请求挂起 5 秒，则很有可能不会 完全成功。

• 在脚本运行时监控系统资源（网络/CPU/RAM） 可以帮助找出瓶颈是否仍然存在。

• 顺便问一下，你安装了aiodns（正如doc 建议的那样）吗？

• disabling ssl 有什么改变吗？

• 尝试启用logging的调试级别，看看那里是否有任何有用的信息

• 尝试设置client tracing，尤其是测量每个请求步骤的时间，看看哪些步骤花费的时间最多

如果没有完全可重现的情况，很难说更多。