最近在学习爬虫的时候,发现怎么要下载这么多包啊,模块啊,刚开始下载的时候,什么也不懂,每次看教程也就是要你 pip install 包名 什么的最方便,但是很不幸,下载速度又慢,又非常容易下载失败。原因有很多。
然后我总结一下我在学习爬虫过程中遇到的那些坑。文章有点长,但认真看完能解决你下载模块遇到的各种奇奇怪怪的问题
Pip install :
首先肯定是 cmd命令行中的 pip install ,但是下载速度非常慢,因此推荐几个换源网址
pip国内的一些镜像
阿里云 http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban) http://pypi.douban.com/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
使用方法:
pip install xxx -i 镜像网址
这样能大大提升你的下载速度
你以为这就完了? 你太小看电脑出的bug了
接下来
pip install 文件还是用不了
我们分析一下,首先是要确保你的pip install 是下载成功的
在下载lxml的时候,我折腾了一晚上,主要问题就是 明明 pip install下载好了,但是pycharm一直给我报错。后来经过无数次百度,终于找到了解决方案。为什么会这样,在下文会讲
打开pycharm,
pycharm换源
这样下载的话是十有八九可以成功的。但是还是上面的问题,下载速度太慢了,因为这个下载的默认还是国外网址,所以我们可以在pycharm换源。
然后在添上你的换源地址就好了(我这里只加了三个,)建议多加几个,因为也很容易下载失败,添加完了以后,可以重启一下pycharm,再次利用pycharm下载,搜索包的时候要看包所对应的换源之后的地址,(如果觉得麻烦就把最初的网址删掉就好了),作为一个小白当初我也有点懵逼,为什么换源以后速度还是那么慢,是因为我只会点第一个/dog
同一份代码,为什么我的会报错?
害,说起来真惨,照着教程代码敲,我感觉没有一点问题,可是pycharm硬是给我报错。可它毕竟是机器,所以还是得我自己去解决这个问题,首先再次检查代码,确认不是代码问题。
报错信息:
ModuleNotFoundError: No module named 'PIL
很显然模块没有找到啊,然后我把教程的代码copy下来,放在了另一个盘里,再次打开,运行没有错误。首先我们来解决这个问题,
百度了一下,原因是有个模块没有下载,那我们就download一下就好了,问题是解决了。
此时的我发现原来两个文件所引用的包不一样。具体直接上
一个是G:\untitled 一个在 C:
这就是我们为什么pip install 以后pycharm仍然会报错的原因之一吧(其他的我暂时还没遇到)
pip install 默认的是C盘。但是我这个工程所引用的是G:里面的库,所以我在pycharm里面下载的。
所以小伙伴们在开启一个新的工程时候,就要选择环境了,见上图,
单击此处即可引用C的环境了。具体问题就具体分析,你也不再是当初那个什么都不懂的小白了。就分享到这了。如果感觉对你有帮助,收藏或者点赞不要吝啬呀~