cd 到存放项目目录
scrapy startproject jd
cd jd
爬京东整站:创建项目
创建虚拟环境:
virtualenv env
爬京东整站:创建项目
启动虚拟环境:
cd env/Scripts && activate && cd …/…/
爬京东整站:创建项目
在jd目录,创建新文件requirements.txt,用于存放需要用到的库名,以便下载安装。
爬京东整站:创建项目
安装requirements.txt中的库,这里指定阿里云为安装源
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
爬京东整站:创建项目
查看当前使用的库是那个环境的:
where scrapy
爬京东整站:创建项目
创建爬虫文件:
scrapy genspider product_data https://www.jd.com/
爬京东整站:创建项目
创建后的文件结构
爬京东整站:创建项目
PyCharm打开目录:
爬京东整站:创建项目
选择京东那个项目,点OK。
直接运行roduct_data.py文件,可以看到python环境用的是虚拟环境
爬京东整站:创建项目
在PyCharm打开requirements.txt文件,并添加pycurl包,PyCharm会提示没安装,可直接在PyCharm安装
爬京东整站:创建项目

相关文章: