cd 到存放项目目录
scrapy startproject jd
cd jd
创建虚拟环境:
virtualenv env
启动虚拟环境:
cd env/Scripts && activate && cd …/…/
在jd目录,创建新文件requirements.txt,用于存放需要用到的库名,以便下载安装。
安装requirements.txt中的库,这里指定阿里云为安装源
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
查看当前使用的库是那个环境的:
where scrapy
创建爬虫文件:
scrapy genspider product_data https://www.jd.com/
创建后的文件结构
PyCharm打开目录:
选择京东那个项目,点OK。
直接运行roduct_data.py文件,可以看到python环境用的是虚拟环境
在PyCharm打开requirements.txt文件,并添加pycurl包,PyCharm会提示没安装,可直接在PyCharm安装
相关文章: