1、settings配置文件加这四行代码

当当爬虫--分布式爬虫配置

2、导入包继承redisspider,start_urls中的url要加入redis_key中,作为主机请求的初始url,在redis中dangdang这个key中加入初始URL

当当爬虫--分布式爬虫配置


当当爬虫--分布式爬虫配置

该篇文章不明白的留言,源码已经上传知识星球(左侧为知识星球,右侧二维码为微信公众号)

当当爬虫--分布式爬虫配置           当当爬虫--分布式爬虫配置


相关文章:

  • 2021-10-05
  • 2021-09-09
  • 2021-10-05
  • 2019-09-26
  • 2021-10-29
  • 2021-09-09
猜你喜欢
  • 2021-09-19
  • 2021-09-07
  • 2021-10-29
  • 2021-10-05
  • 2021-10-19
  • 2021-11-11
  • 2021-12-09
  • 2021-10-05
相关资源
相似解决方案