【问题标题】:ValueError: Missing scheme in request url: h in pythonValueError:请求网址中缺少方案:python中的h
【发布时间】:2014-12-03 13:08:34
【问题描述】:

这是我的代码,我正在尝试访问此站点的评论,但显示错误。

class DomainCrawlSpider(BaseSpider):
    name = "Spider"
    allowed_domains = ["www.smahavarkar.wordpress.com"]
    start_urls = "http://smahavarkar.wordpress.com/"

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        titles = hxs.select("//p")
        items = []
        for titles in titles:
            item = DItem()
            item ["address"] = titles.select("a/text()").extract()
            item ["review1"] = titles.select("p/text()").extract()
            item.append(item)
        return item

【问题讨论】:

  • ValueError:请求 url 中缺少方案:h

标签: python xpath error-handling web-scraping web-crawler


【解决方案1】:

start_urls应该是一个列表,试试改成:

start_urls = ["https://www.zomato.com/cs/mumbai/restaurace?q=pop%20tates"]

【讨论】:

  • 什么是完整的回溯?
  • 虽然我很确定你的问题是它应该是items.append(item)
  • Sorry for error 但我该如何解决它似乎所有代码都是正确的
  • item.append(item) 变为 items.append(item)
【解决方案2】:

start_urls 更改为:

start_urls = ("http://smahavarkar.wordpress.com/",)

它对我有用。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-07-02
    • 1970-01-01
    • 2016-04-30
    • 2020-12-09
    • 1970-01-01
    • 2014-02-01
    • 1970-01-01
    相关资源
    最近更新 更多