1. 报错描述
爬取当当网分类下的图书title 、链接link、评价数, pipelines.py中设置了页数的for loop。cmd打印item,为网页所显示的数据;而存入到file中,始终为网页的第一条数据信息。
2. 原因
详情请看:https://ask.csdn.net/questions/160864
不记得在哪篇博客还是stackflow上看到说是,网站改成js,重定向导致爬虫无法正常允许。
3. 解决措施
打算试下上面博客提到的Selenium,debug成功了再继续更新。