为什么 Urlopen 在某些网站上运行缓慢

Question

我正在尝试从网站读取简单的文本。 它可以工作，但速度是个问题。

对该网站的任何请求大约需要 20 秒才能得到响应。其他网站速度很快。使用浏览器或 Matlab 中特定网站立即响应的“相同”请求：

>>from urllib.request import urlopen
>>url = "http://live.glidernet.org/lxml.php?a=0&b=50.5&c=49.5&d=15.2&e=10&z=2" 
>>urlopen (url)

为什么urlopen 在某些网站上速度很慢？

Answer 1

您尝试访问的网站可能托管在廉价/缓慢的网络托管服务上。您对此无能为力。即使在浏览器中访问也一样。

一些网站设置了针对自动请求的机制，以防止 DDoS 攻击，因此它们的访问速度变慢（正如 Jammy Dodger 所建议的那样）。

如果还是很慢，需要批量访问网站，请查看 Async IO/Multiprocessing/Queues 为每个网站创建任务，然后并行打开它们。