【问题标题】:Scrapy Error: 'NotSupported: Unsupported URL scheme '': no handler available for that scheme'Scrapy 错误:'NotSupported:不支持的 URL 方案'':没有可用于该方案的处理程序'
【发布时间】:2017-04-03 20:38:35
【问题描述】:

我正在尝试废弃一个网站,但在运行脚本时,我收到以下错误

'NotSupported: 不支持的 URL 方案'': 没有可用的处理程序 那个方案'

如果规则没有错,为什么会发生以及您的建议是什么,请帮助我。非常感谢。

代码在这里:

from scrapy.spiders import CrawlSpider, Rule, BaseSpider
from scrapy.linkextractors import LinkExtractor 
class FellowSearch(CrawlSpider):
    name ='fellow'
    allowed_domains = ['emma.cam.ac.uk']
    start_urls = [' https://www.emma.cam.ac.uk/']

    rules =(Rule(LinkExtractor(allow=(r'\?id=\d+$')),callback='parse_obj', follow=True),)

    def parse_obj(self, response):
        print response.url

【问题讨论】:

  • 我看到前面有个空格https?

标签: web-scraping scrapy scrapy-spider scrapy-shell


【解决方案1】:

您需要在 start_urls 更改为 start_urls = ['https://www.emma.cam.ac.uk/'] 中的 https 之前删除空格。

【讨论】:

  • 你能检查一下我的scrapy规则吗?它的抓取只有 31 个网址,但有超过 100 个
  • 您应该打开一个新问题并指定要提取的网址,我很乐意为您提供帮助。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-05-21
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多