python中的多线程Web请求-'名称或服务未知'

Question

我有大量的抓取工作要做——由于大量的网络延迟，脚本的大部分时间都花在了阻塞上。我正在尝试对脚本进行多线程处理，这样我就可以同时发出多个请求，但是我的线程中大约 10% 因以下错误而死

URLError: <urlopen error [Errno -2] Name or service not known>

其他 90% 成功完成。我从同一个域请求多个页面，所以似乎可能存在一些 DNS 问题。我一次发出 25 个请求（25 个线程）。如果我一次将自己限制为 5 个请求，一切正常，但是一旦我收到大约 10 个请求，我有时会开始看到此错误。

我已阅读Repeated host lookups failing in urllib2 它描述了我遇到的相同问题并遵循其中的建议，但无济于事。

我也尝试过使用多处理模块而不是多线程，我得到了相同的行为——大约 10% 的进程死于相同的错误——这让我相信这不是 urllib2 的问题，而是别的东西。

有人可以解释发生了什么并建议如何解决吗？

更新

如果我将站点的 IP 地址手动编码到我的脚本中，一切都会正常运行，因此在 DNS 查找期间有时会发生此错误。

Answer 1

建议：尝试在系统中启用 DNS 缓存，例如 nscd。如果您的爬虫总是向同一个域发出请求，这应该可以消除 DNS 查找问题。

确保urllib2.urlopen返回的文件对象在被读取后正确关闭，以释放资源。否则，您可能会达到系统中最大打开套接字的限制。

另外，考虑到politeness policy 网络爬虫应该避免因多个请求而使服务器过载。