xueweihan

使用requests库请求url,会出现这个错误,原因是:

服务器负载过重,无法建立更多的链接,4种可能:

  1. http连接太多没有关闭导致的。
  2. 机器的内存不够了。
  3. 还有一种可能就是:由于请求频率过快,被目标网站封IP了
  4. 请求的 url 地址错误

解决办法:

1. 增加重试连接次数
requests.adapters.DEFAULT_RETRIES = 5

2. 关闭多余的连接
requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。
操作方法:
s = requests.session()
s.keep_alive = False

分类:

技术点:

相关文章:

  • 2021-09-30
  • 2021-09-07
  • 2021-06-23
  • 2021-11-19
  • 2021-09-07
  • 2021-09-22
猜你喜欢
  • 2021-06-27
  • 2021-06-29
  • 2021-07-16
  • 2022-12-23
相关资源
相似解决方案