这是第一次使用scrapy爬虫,根据官网 Scrapy 0.25文档上的教程,测试了第一个例子。

在中间出现了错误,问题显示是‘float’is not iterable。非常感谢ziven2012的博客,出现这种情况是由于scrapy的版本和twisted的版本有冲突。本机的scrapy版本为1.1.1,twisted版本为17.9.0。经过博客内容的指示,我尝试将twisted的版本降到16.6.0。

但是,这时候出现了问题。

http://www.lfd.uci.edu/~gohlke/pythonlibs/,本来这个网站可以专门用来下载python各类的库,但是库的版本往往都是最新版本,而我在网上也找不到twisted库的老旧版本。

那就只剩下一种方法,通过pip install twisted==16.6.0,但是事实果然和我之前预想的一样,还是会出现

microsoft visual c++ 14.0 is required 这样类型的错误。因为之前就遇到过这样的问题,所以如果pip install无法下载库,是可以推荐去前面所给链接中下载自己所需的库的,那里直接给的是现成的whl文件,具体的安装方法,网上很多。

那现在怎么办呢?

别急,还有anaconda。

首先,下载时根据python的版本号选择你所需要的,其次呢,最好是下64位版本的。

注意,安装的时候,有一个小问题。在此感谢谢美霞的博客

scrapy爬虫中遇到的‘float’ is not iterable

一定要记住打上面的勾,本来后续操作就相当的麻烦了。

中间过程省略,在这里还是推荐上面提到的谢美霞的博客,那里有详细的后续介绍。

最后 conda install twisted==16.6.0,问题完美解决。

相关文章:

  • 2021-07-19
  • 2022-01-16
  • 2021-11-19
  • 2022-12-23
  • 2022-01-12
猜你喜欢
  • 2022-12-23
  • 2022-01-11
  • 2022-12-23
  • 2021-12-10
  • 2022-12-23
  • 2021-10-04
相关资源
相似解决方案