解读Scrapy框架

  Scrapy框架基础：Twsited

Scrapy内部基于事件循环的机制实现爬虫的并发。
原来：

url_list = ['http://www.baidu.com','http://www.baidu.com','http://www.baidu.com',]

for item in url_list:
　　response = requests.get(item)
　　print(response.text)

原来执行多个请求任务