scrapy的使用
工作原理
1.下载scrapy
pip install scrapy 出问题
然后在https://www.lfd.uci.edu/~gohlke/pythonlibs/这个网页找到你对应的python的版本和你的计算机配置例如 cp35 python3.5版本，amd64就是计算机64位。
然后pip install 这个文件下载后的地址和它的名字。即在cmd中输入pip install Twisted的路径，例如下载路径为F:\Twisted-18.9.0-cp35-cp35m-win_amd64.whl，则输入pip install F:\ Twisted-18.9.0-cp35-cp35m-win_amd64.whl即可，再次pip install scrapy就成功了。
2.创建爬虫项目
我这个是在pycharm 中写的。在terminal 中输入scrapy 可以查看他的命令，
然后输入scrapy startproject MaiTian 就创建了一个MaiTian的爬虫项目。
运行方式
1.先切换到当前spiders的路径下再运行scrapy runspider 爬虫文件.py
2.scrapy crawl maitian，