neumy

前些天在CSDN上看见某dalao的buff开源爬虫,没有上代理,config也只能在.ini里改,爬2000个商品花了很久

想着能不能改一下,就改了一下

。增加了从快代理上的动态爬取到的proxy

。发现proxy在requests下好用一些。

。后来又增加了利用logging模块的set方法来实现快捷更改关键参数,每次运行都能进行最高最低价的修改之类的

(悄咪咪说一句,原作者我联系不上,所以本程序仅供参考学习交流,禁止用于商业用途)

(嘛~~~如果是自己用来赚点差价买骑砍的话,原作者应该也不会生气叭*(੭*ˊᵕˋ)੭*ଘ)

这个爬虫相对来说还是很基础的,我特意做了全注释,各位可以download下来学习

github地址:嘚嘚嘚嘚嘚嘚嘚嘚嘚~各位不要再白嫖了,点个star吧QWQ

直接跑BUFFPriceSpider就可以,关键参数在运行前会提示是否修改的。

 

分类:

技术点:

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-12-16
  • 2021-05-16
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-11-03
  • 2021-07-01
  • 2021-11-16
  • 2021-12-04
  • 2021-10-26
  • 2021-07-14
  • 2021-12-04
相关资源
相似解决方案