1，首先，基于cmd创建爬虫项目，命令为：scrapy startproject dangdang
2，创建一个以基础爬虫为模板的爬虫文件，命令为：scrapy genspider -t dd dangdang.com
如下图所示，再spiders中生成了dd.py文件！
3，我们爬取的信息有，商品标题，商品出售店铺，商品链接，商品评论数，商品价格
如下所示：
4，在配置文件settings中创建要爬取的数据定义，如下示：
5，在爬虫文件dd.py中基于Xpath爬取网站信息，并且实现多页爬取，如下图所示：
6.由于可能会出现爬虫失败，以及我们需要将获取的数据进行相关处理，因此我们在settings.py文件处，要修改两处：
7，最后，我们在Pipelines.py文件中编写相应的数据库链接函数，以及数据库存储操作将数据存入本地数据库中：
8，至此，整个框架编写完毕，我们先创建相应的SQL表用于储存数据
9，最后，我们在CMD中执行scrapy crawl dd --nolog命令，可以在数据库中获得相关商品信息了~大功告成！