Scrapy 在执行时抛出“ModuleNotFoundError”

Question

我在 scrapy 中编写了一个非常基本的蜘蛛，用于从 stackoverflow 的登录页面抓取问题的标题。在过去的几个小时里，我一直试图让它工作，但每次执行我的脚本时都会遇到同样的错误。完整的追溯如下。

items.py 包括：

import scrapy

class StackoverflowspiderItem(scrapy.Item):
    name = scrapy.Field()

infograbber.py又名蜘蛛包含：

import scrapy
from scrapy import Selector
from scrapy.crawler import CrawlerProcess
from stackoverflowspider.items import StackoverflowspiderItem

class InfograbberSpider(scrapy.Spider):
    name = 'infograbber'
    allowed_domains = ['stackoverflow.com']
    start_urls = ['https://stackoverflow.com/questions/']

    def parse(self, response):
        sel = Selector(response)
        items = []
        for question in sel.css(".question-hyperlink"):
            title = StackoverflowspiderItem()
            title['name'] = question.css("::text").extract_first()
            items.append(title)
        return items

c = CrawlerProcess({
    'USER_AGENT': 'Mozilla/5.0',

})
c.crawl(InfograbberSpider)
c.start()

这是Project Hierarchy：

我遇到的错误：

Traceback (most recent call last):
  File "C:\Users\WCS\Desktop\stackoverflowspider\stackoverflowspider\spiders\infograbber.py", line 4, in <module>
    from stackoverflowspider.items import StackoverflowspiderItem
ModuleNotFoundError: No module named 'stackoverflowspider'

仅供参考：当我像下面这样尝试时，它会起作用，但我不希望这样。

import scrapy
from scrapy.crawler import CrawlerProcess

class InfograbberSpider(scrapy.Spider):
    name = 'infograbber'
    allowed_domains = ['stackoverflow.com']
    start_urls = ['https://stackoverflow.com/questions/']

    def parse(self, response):
        for question in response.css(".question-hyperlink"):
            print(question.css("::text").extract_first())


c = CrawlerProcess({
    'USER_AGENT': 'Mozilla/5.0',

})
c.crawl(InfograbberSpider)
c.start()

我哪里出错了？提前感谢任何解决方案。顺便说一句，我正在使用python 3.6 和scrapy 1.5.0。我尝试使用cmd 和sublime text editor 来执行该文件，但在这两种情况下我都会遇到相同的错误。

Answer 1

下面的代码解决了我的问题：

from ..items import StackoverflowspiderItem

Answer 2

如果满足两个条件，就会出现scrapy找不到您需要的包的问题：

1. 您的 scrapy.cfg 不在项目的顶层
2. 您的模块“.settings.py”、“.middlewares.py”...不在项目顶层直接声明的包中

当您调用scrapys“Crawlerprocess”时，会发生什么情况，它找不到您要导入的模块。它正在锁定您的“.settings”模块。它通过查找您的“scrapy.cfg”文件来做到这一点。由于您的“scrapy.cfg”文件位于错误的位置，scrapy 无法自动找到它，您需要帮助它：

1. 在您的情况下，“stackoweflowspider.stackoverflowspider”的文件夹应该在 sys.path 中。 （sys.path.append() 也是如此，带有该路径的目录）。如果它找到了“scrapy.cfg”文件，这将由scrapys“get_project_settings()”函数完成。

2. 你还需要告诉 scrapy 哪个模块真正是“.settings”模块。这可以通过设置一个名为“SCRAPY_SETTINGS_MODULE”的环境变量来实现。使用设置它

   os.environ.setdefault('SCRAPY_SETTINGS_MODULE', "stackoweflowspider.stackoverflowspider.settings")
   

如果你之后调用 CrawlerProcess 并使用 get_project_settings() 作为参数

CrawlerProcess(get_project_settings())

那么它就会起作用。要设置您的 USER AGENT 信息，您需要多做一步，但我在这里关注的是 scrapy 找不到您的包和模块的问题。

Answer 3

我认为您的问题是您像这样执行spider：

python infograbber.py

但你需要进入scrapy.cfg所在的文件夹并像这样运行scrapy：

scrapy crawl infograbber