scrapy创建项目步骤

（1）环境搭建—scrapy
pip install scrapy

（2）创建项目
scrapy startproject 项目名称

（3）第一个爬虫项目
1.scrapy startproject baidu
2.pycharm打开项目
3.在spider文件夹下，新建baidu.py文件
4. cd 项目目录，启动爬虫，命令：scrapy crawl baidu

问题：运行后，查看文件，发现并没有保存成文件。
原因：
百度服务器应对爬虫协议：
不允许你爬取。问：为什么之前的爬虫可以爬取呢？是因为之前自己写的爬虫不遵守这个协议，而scray默认是遵守该协议。
解决方案：settings.py—>ROBOTS_OBEY = False