python3.7 使用 asyncio 和 aiohttp 从 URL 中批量提取标题

Question

我想获取列表中所有网站的标题。 这是我现在使用的

https://gist.github.com/PandaWhoCodes/e6a4621d3b09889a98d12e67bb8c4cf9

这仍然需要 5 分钟才能在 600 个 URL 上运行。 有没有办法让这个过程更快？

Answer 1

您确实需要调试和/或分析网络部分。看起来您对连接/带宽有一些限制 - 可能是您的 ISP 或服务限制了您的请求。

您的代码完全没问题，它在几秒钟内完成。分析显示，前 3 个“自己的时间”（本身最消耗，没有调用链）节点是

• epoll 选择
• zlib 解压
• bytes.decode

这是总运行时间的约 50%。