1.创建一个项目

用scrapy爬斗鱼颜值版块的图片

2.创建一个爬虫

用scrapy爬斗鱼颜值版块的图片

3.打开items.py编写需要保存的参数

用scrapy爬斗鱼颜值版块的图片

4.进入spider文件夹,编写爬虫文件

 用scrapy爬斗鱼颜值版块的图片

5.打开settings文件,设置headers、pipeline、下载间隔以及图片保存路径

用scrapy爬斗鱼颜值版块的图片

用scrapy爬斗鱼颜值版块的图片

用scrapy爬斗鱼颜值版块的图片

用scrapy爬斗鱼颜值版块的图片

6.设置管道文件

用scrapy爬斗鱼颜值版块的图片

7.scrapy crawl douyu

 

相关文章: