最近在开始学习scrapy爬虫，遇到了一处很坑的地方，在屏幕上输出的debug信息总是没有任何结果就直接提示：
[scrapy.statscollectors] INFO: Dumping Scrapy stats
...............
.............
[scrapy.core.engine] INFO: Spider closed (finished)，然后程序就结束了
网上查了许久，才发现自己的错误：在parse()函数中的yield scrapy.Request()函数中参数传错了，错误的代码如下：
正确的代码如下：
还有可能是没有添加浏览器代理导致的，在setting.py文件添加下面的代码：
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) \
AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'
USER_AGENT的值可以更换