之前settings.py 中下图是注释掉的,:  

DOWNLOAD_DELAY = 3

现在把它放开,赋值3(意思是3秒)

现在700多个话题的豆瓣小组,可以顺利爬下

 

比较懒,感觉代理池会不会很复杂呀,什么的。

不过,设置了爬取的时间间隔,确实慢了很多。

代理池还是要用起来

 

爬豆瓣被封的解决方案

 

相关文章:

  • 2021-10-05
  • 2021-10-19
  • 2021-10-08
  • 2022-01-11
  • 2021-10-03
  • 2021-10-09
  • 2021-08-03
猜你喜欢
  • 2022-12-23
  • 2021-12-10
  • 2021-05-17
  • 2021-05-22
  • 2021-10-28
  • 2022-12-23
  • 2022-01-03
相关资源
相似解决方案