scrapy(微博)数据保存到Mongodb

1.settings.py:(配置文件)

①

②UserAgent配置放开

③Mongo配置放开

④Mongo配置

2.middlewares.py

中间件配置(useragent, proxy, cookies)

3.spiders(逻辑)

4.items.py

5.pipelines.py

6.debug(运行)