【发布时间】:2016-03-04 14:38:22
【问题描述】:
我在多个服务器上使用 pycurl 进行了一些网络爬取,并在日志中看到有一些项目返回 GnuTLS 错误作为标题。我手动检查了输入参数,当我在本地运行我的脚本时它们结果很好。
我最初的想法是,我可能会因为多次点击该网站而被该网站阻止,但当我研究此错误时,我发现没有人提到被阻止的地方。
我不知道这个错误是什么,我目前唯一的解决方案是实现类似指数等待以在它发生时重试。但是,如果有人可以提供有关此特定错误的一些知识,我将非常感谢您的意见。
【问题讨论】:
标签: web-crawler pycurl gnutls