1.新建项目名称

2.环境添加scrapy

pycharm下创建scrapy项目

3.打开cmd命令, 进入将要把代码放入的目录

输入 

scrapy startproject article #最后一位(spider)为模块名,可随意取

 

最终,项目目录结构

pycharm下创建scrapy项目

 

4.执行某一个spider

scrapy crawl jobbole#文件ming

 

5,设置 ROBOTSTXT_OBEY = False

 pycharm下创建scrapy项目

6.调试命令

scrapy shell 被测地址

 7.新增一个spider

scrapy genspider zhihu www.zhihu.com

 

相关文章: