本项目是基于Scrapy框架。
Scrapy安装介绍
Scrapy的安装有多种方式，它支持Python2.7版本及以上或Python3.3版本及以上。以下说明Python3环境下最懒最简单的安装过程。
键盘Win+R键打开命令输入符(运行)，输入cmd
接着在输入pip install scrapy即可以安装scrapy框架模块
等待一会，会出现Successful……语句。
默认安装成功之后就开始项目了。
首先要使用Scrapy抓取一个网站一共需要四个步骤：
1.创建一个Scrapy项目；
2.定义Item容器；
3.编写爬虫；
4.存储内容。
在cmd中首先要切换到桌面(cd desktop),再输入scrapy startproject movie
这时会在桌面创建好一个名为movie的文件夹
movie文件夹的目录如下
movie/
scrapy.cfg
movie/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
需要做的就是在spiders目录下再创建一个新的*.py文件，比如Moviespider.py
接着先放下这边的工作，你需要登录到豆瓣TOP250的网址：https://movie.douban.com/top250 ，页面如下：
你想要做的就是 获取你要爬取的信息，我们可以直观的看到有电影名，电影简述，评分，还有一句格言。这就是我们需要爬取的数据。点击键盘F12或鼠标右键审查元素。
以肖申克的救赎为例：
titile标题在div class="hd"/a/span标签中，movieInfo电影简介在div class="bd"/p标签中，star评分在div class="bd"/span class="rating_num"标签中，quote格言在div class="bd"/p class="quote"标签中，记住这些元素。
接下来定义Item容器。在item.py中：
紧接着在Moviespider.py中编写我们的爬虫程序：
最后在cmd命令行中首先先切换到movie的文件夹中:cd desktop/movie
再输入：scrapy crawl movie
要想存储内容为json/csv文件就输入：scrapy crawl movie -o movie.json/scrapy crawl movie -o movie.csv
也可以通过编写pipelines.py的程序进行存储。
注意：
可能会出现几个坑：
（1）出现了403的错误，如下：
DEBUG: Crawled(403)<GET http://……>(referer:None)
原因：代理被禁止访问
解决方法：
在settings.py添加设置代理User-Agent：
USER_AGENT='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
（2）出现了Forbidden by robots.txt的错误,如下：
[scrapy]DEBUG: Forbidden by robots.txt:<GET https://……>
原因：scrapyl是遵守robot协议的，在访问网址前会先访问robot.txt来查看自己是否有权限访问。如果网站不允许被爬，就不能访问。
解决方法：
ROBOTSTXT_OBEY=True 改为 ROBOTSTXT_OBEY=False
（3）若启用了一个Item Pipeline组件，你必须将它的类添加到ITEM_PIPELINES配置中
解决方法：
settings.py中 ITEM_PIPELINES={
'movie.pipelines.MoviePipeline':300,
}