1:在settings里面配置

scrapy-redis配置

2:scrapy-redis配置

 

下载scrapy-redis源码:粘贴到与scrapy。cfgt同目录下

 

同时在settings里面还可以配置redis的host和port以及password

同时在spider中:

scrapy-redis配置

需要让spider继承RedisSpider,而不是之前的scrapy的spider

同时还需要一个redis_key :

同时scrapy-redis配置

start_urls就可以不要了;

最后也就是最关键的一步就是:

需要在redis里面lpush一条起始url:

scrapy-redis配置

在redis里面url之前,程序会一直监听redis数据库,直到有了url之后才会去读取url请求;

 

相关文章: