Scrapy设置动态User-Agent时遇到的巨坑
今天带着开心的心情去爬取豆瓣所有的电影，然而，在第一次IP被封了的时候设置动态User-Agent后就一直出现302或者连接拒绝一系列的问题，搞了一天，最后终于发现，是在写下载中间类的时候取名出错，真是蛋疼！！！能想象吗，就是一个不怎么写博客的人被生生气到写博客来发泄，WTF，一天就这么没了！！！
写完类后记得在setting里开启DOWNLOADER_MIDDLEWARES，嗯，善意的提醒你们记得这个坑，希望能对你们有一定帮助，不过最好都别遇到，哈哈！