安装Scrapy填坑
- 升级pip
- 安装VS 2015专业版
- 安装lxml
- *安装Scrapy
步骤
升级前少啰嗦几句,我装的是py2和py3,这里先区分开py2和py3,我在这里直接重命名python3.exe OK!
1、升级pip3
python3 -m pip install –upgrade pip
2、安装vs 2015专业
(抛出网址,自己下载去吧,安装好自己去网上找一个秘钥文件**就哦了)
http://download.microsoft.com/download/B/8/9/B898E46E-CBAE-4045-A8E2-2D33DD36F3C4/vs2015.pro_chs.iso
3、安装lxml
这个步骤要安装几个模块:
-pip3 install wheel
-pip3 install lxml
-pip3 install scrapy==1.1.0rc3 (这里因为听说此版本用的多,所以指定这个版本)
在安装lxml的时候报building ‘twisted.test.raiser’ extension error: Microsoft Visual C++ 14.0 is required.
这个时候从https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted网址下载对应的版本下载安装
先切换到whl包所在路径,然后执行pip3
pip3 install Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl
依然提示相同的错误,平台依旧不能运行
这里将Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl 修改名称为Twisted-18.7.0-cp36-none-any.whl
pip3 install Twisted-18.7.0-cp36-cp36m-win32.whl 安装成功后
然后安装scrapy成功
执行 scrapy runspider xxx.py时报错
ModuleNotFoundError: No module named ‘win32api’
需要安装访问windows系统API的库,库的名称是pywin32
pip3 install pypiwin32
全部ok!