【问题标题】:Creating a spider using Scrapy, Spider generation error使用 Scrapy 创建蜘蛛,蜘蛛生成错误
【发布时间】:2011-02-20 00:30:16
【问题描述】:

我刚刚在 Windows 32 上下载了 Scrapy(网络爬虫),并且刚刚使用 dos 中的“scrapy-ctl.py startproject dmoz”命令创建了一个新项目文件夹。然后我继续使用以下命令创建了第一个蜘蛛:

scrapy-ctl.py genspider myspider myspdier-domain.com

但它不起作用并返回错误:

Error running: scrapy-ctl.py genspider, Cannot find project settings module in python path: scrapy_settings.

我知道我的路径设置正确(到 python26/scripts),但我很难弄清楚问题出在哪里。我对scrapy和python都是新手,所以很可能我没有做一些重要的事情。

另外,我一直在使用 eclipse 和 Pydev 插件来编辑代码,如果这可能会导致一些问题。

【问题讨论】:

    标签: python web-crawler scrapy


    【解决方案1】:

    PATH 和 PYTHON_PATH 之间存在差异。您的 PYTHON_PATH 设置是否正确?此路径是 python 查找包含包/模块的位置。

    【讨论】:

      【解决方案2】:

      使用项目目录中的scrapy-ctl.py。该脚本将了解该项目的设置。主要的 scrapy-ctl.py 不知道该特定项目的设置。

      【讨论】:

        【解决方案3】:

        将 PYTHONPATH 环境变量设置为 python26/scripts。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 2010-12-20
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多