Scrapy-Redis是Scrapy的分布式扩展模块,有了它,我们就可以方便地实现Scrapy分布式爬虫的搭建。
GitHub:https://github.com/rmax/scrapy-redis
PyPI:https://pypi.python.org/pypi/scrapy-redis
官方文档:http://scrapy-redis.readthedocs.io

一、安装Scrapy-Redis

pip3 install scrapy-redis

也可以下载wheel文件安装https://pypi.python.org/pypi/scrapy-redis#downloads

测试:
import scrapy_redis #不报错即可

相关文章:

  • 2021-11-17
  • 2021-08-21
  • 2021-10-07
  • 2022-12-23
  • 2021-11-08
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-01-03
  • 2021-09-16
  • 2021-08-07
  • 2021-10-08
相关资源
相似解决方案