【问题标题】:error on running "scrapy crawl quotes" and "scrapy genspider quotes qoutes.toscrape.com" command运行“scrapy crawl quotes”和“scrapy genspider quotes qoutes.toscrape.com”命令时出错
【发布时间】:2021-06-06 08:02:59
【问题描述】:

我按照教程制作了一个网络爬虫。

概述:-

  1. 创建虚拟环境(virtualenv .)
  2. 激活它 (.\Scripts\activate)
  3. scrapy.cfg 所在的目录(cd quotetutorial)
  4. 创建了quotes_spider.py
  5. 执行 scrapy crawl quotesscrapy genspider quotes quotes.toscrape.com 并得到相同的错误

spider_quotes.py 文件内容:-

class QuoteSpider(scrapy.Spider):#inheriting from class scrapy from spider
    name='quotes'
    start_urls=['https://quotes.toscrape.com/']
    def parse(self,response)
        title=response.css('title').extract()
        yield {'titletext': title} 

即使在包含scrapy.cfg 文件的文件夹中运行scrapy crawl 引号后,我也会收到此错误。 error message

【问题讨论】:

    标签: python web-scraping scrapy


    【解决方案1】:

    您忘记在方法定义中添加: 符号:

    
    class QuoteSpider(scrapy.Spider):#inheriting from class scrapy from spider
        name='quotes'
        start_urls=['https://quotes.toscrape.com/']
        def parse(self,response): # <- : added
            title=response.css('title').extract()
            yield {'titletext': title} 
    

    【讨论】:

      猜你喜欢
      • 2014-05-21
      • 1970-01-01
      • 2013-09-01
      • 1970-01-01
      • 1970-01-01
      • 2012-08-12
      • 2020-01-25
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多