scrapy安装和简单使用

本文讲诉的基于一个python3的虚拟环境下安装和使用scrapy

虚拟环境下安装scrapy

1. 安装python3， 也可以同时安装python2，一起使用
2. 创建一个虚拟环境叫python3text ，mkvirtualenv –python=C:\Users\Administrator\AppData\Local\Programs\Python\Python35\python.exe python3text
   
   不懂的虚拟环境创建，可以参考我的python-虚拟环境的安装和配置这篇文章对虚拟环境的安装和使用。
3. 创建虚拟环境的时候会自动进入虚拟环境，也可以手动进入 workon python3text
4. 进入到虚拟环境安装scrapy
   pip install -i https://pypi.doubanio.com/simple/ scrapy
   上面的语句中使用了豆瓣源，可以加速下载，安装的时候会出错如图：
   
   可以到这个网站下载对应的安装包
   
   下载完了之后，到自己对应的下载目录下安装包：
   
   安装成功之后，再继续执行：
   pip install -i https://pypi.doubanio.com/simple/ scrapy
   进行安装scrapy，安装的时候出错就到这个网站下载对应的安装包，进行安装就可以了。
5. 来查看是否安装成功：pip list
   

简单使用scrapy进行项目的搭建

1. 创建一个scrapy项目：scrapy startproject first_project
2. “` cd first_project
   scrapy genspider jobbole blog.jobbole.com #进入到目录下，创建jobbole的爬虫（spider)


3.scrapy list #查看spider的名字，
scrapy crawl jobbole #运行名叫jobbole的spider“`

4.运行的时候，在windows下会出现错误：

缺少一个包，我们进行安装：
pip install -i https://pypi.douban.com/simple/ pypiwin32 安装命令
5. 重新运行我们的spider，即可运行成功。

---