【问题标题】:How could I solve "no module named proxy" error?如何解决“没有名为代理的模块”错误?
【发布时间】:2018-03-06 18:22:27
【问题描述】:

我正在学习爬虫,经过一些基本的学习后,我尝试从 github 下载 google Academic crawler master 以查看它是如何运行的,在我可以修复一些错误之后,我遇到了 ModuleNotFoundError: No module named 'proxy' 错误( middleware.py 文件,from proxy import PROXIES 行是问题)。

此代码存在一些问题,其中包含在 python 3.x 版本中不再支持/建议的解决方案,包括此后已重命名/移动的模块,但我无法确定是否属于这种情况也希望得到帮助。

【问题讨论】:

    标签: python google-crawlers


    【解决方案1】:

    假设您正在谈论这个https://github.com/geekan/google-scholar-crawler 爬虫:

    我只是尝试在 Python 2.7 上运行它并且没有任何问题。对 misc 模块的简要介绍告诉我,相对导入可能存在问题(有关它的一些信息可以在这个问题 Relative imports in Python 3 中找到)。

    所以,简单的回答就是使用 python 2.7,因为它可以让我们专注于了解 scrapy 爬虫的工作原理,而不是了解语言版本的差异。

    UPD:还要确保删除代码中的所有 import pdb; pdb.set_trace() 断点

    【讨论】:

      猜你喜欢
      • 2018-05-15
      • 1970-01-01
      • 1970-01-01
      • 2016-11-04
      • 2018-06-29
      • 1970-01-01
      • 2019-09-18
      • 2022-08-23
      • 1970-01-01
      相关资源
      最近更新 更多