【问题标题】:scrapy error ImportError: No module named itemsscrapy错误ImportError:没有模块命名项目
【发布时间】:2016-06-17 02:56:48
【问题描述】:

我想爬取网站this link 但是当我使用命令进行爬虫时

scrapy crawl metacritic -o metacritic.json -t json

它说ImportError: No module named items 有人可以帮忙吗?

metacritic_spider.py 来源:

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from metacritic.items import MetacriticItem
class MetacriticSpider(BaseSpider):
class MetacriticSpider(BaseSpider):
    name = "metacritic" # Name of the spider, to be used when crawling
    allowed_domains = ["metacritic.com"] # Where the spider is allowed to go
    start_urls = ["http://www.metacritic.com/browse/games/title/pc?page=0"]
    def parse(self, response):
        hxs = HtmlXPathSelector(response) # The XPath selector
        sites = hxs.select('//li[contains(@class, "product game_product")]/div[@class="product_wrap"]')
        items = []
        for site in sites:
            item = MetacriticItem()
            item['title'] = site.select('div[@class="basic_stat product_title"]/a/text()').extract()
            item['link'] = site.select('div[@class="basic_stat product_title"]/a/@href').extract()
            item['cscore'] = site.select('div[@class="basic_stat product_score brief_metascore"]/div/div/span[contains(@class, "data metascore score")]/text()').extract()
            item['uscore'] = site.select('div[@class="more_stats condensed_stats"]/ul/li/span[contains(@class, "data textscore textscore")]/text()').extract()
            item['date'] = site.select('div[@class="more_stats condensed_stats"]/ul/li/span[@class="data"]/text()').extract()
            items.append(item)
        return items

源 item.py :

from scrapy.item import Item, Field
class MetacriticItem(Item):

# Here are the fields that will be crawled and stored
title = Field() # Game title
link = Field()  # Link to individual game page
cscore = Field() # Critic score
uscore = Field()   # User score
date = Field()  # Release date

我的目录结构:structure

【问题讨论】:

  • 我的结构目录:metacritic
  • 我认为格式应该是固定的。我试着改变这个,不知道为什么我的评论没有被接受。
  • 你有 facebook bryans 吗?也许你可以回答
  • 我没有答案。我更关心的是让帖子正确显示代码,以便更多人看到它。
  • 啊我明白了谢谢:)

标签: python linux terminal scrapy web-crawler


【解决方案1】:

将您的 item.py 移动到第二个 metacritic 文件夹中。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-06-13
    • 2019-12-12
    • 2011-11-27
    • 1970-01-01
    相关资源
    最近更新 更多