Scrapy-redis

scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能：

• scheduler - 调度器
• dupefilter - URL去重规则（被调度器使用）
• pipeline   - 数据持久化

安装与开启redis 

1 #redis安装路劲:https://github.com/ServiceStack/redis-windows
2 
3 路劲+/redis-server /etc/redis/6379.conf

View Code