Scrapy的安装
一、Scrapy框架简介
- Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
- Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。
安装步骤
（准备工作）windows安装scrapy准备工作
-
打开pycharm Terminal
-
一、首先先执行这个命令 pip install -i https://pypi.douban.com/simple Scrapy
-
二、如果执行第一步没有下载成功，执行这个命令下载包wheel pip install -i https://pypi.douban.com/simple wheel
-
三、安装twisted，在这个网站上找和你python解释器匹配的版本 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
-
四、然后执行命令下载（必须在安装python解释器的路径下执行） pip install Twisted-20.3.0-cp37-cp37m-win_amd64.whl(python3.7 64位的用这个命令)
-
-
五、最后再执行 pip install Scrapy -i https://pypi.douban.com/simple/
-
六、验证pip list
补充：Scrapy使用
创建scrapy项目：
scrapy startproject mySpider（项目名）
创建爬虫：
scrapy genspider douban douban.com（域名加双引号或不加引号）
运行爬虫项目：
scrapy crawl 爬虫名