【问题标题】:Scrapy response comes all dirty and xpath doesn't workScrapy响应很脏,xpath不起作用
【发布时间】:2019-10-30 12:19:27
【问题描述】:

你好吗? 我的 Scrapy 的响应很脏,如下图所示,并且没有 xpath 工作。在蜘蛛中,我只是进行了身份验证,发送请求并显示了 response.body。 如何进行?

Scrapy 响应:

【问题讨论】:

  • 你的响应HTML很不错。您尝试了哪种 XPath?
  • //table/tbody[tr[td[b[contains(text(), "Nome do Plano")]]]]/tr
  • 在 Chrome 的 Elements 上,这个 xpath 可以工作。在scrapy号上。

标签: web-scraping scrapy


【解决方案1】:

使用 XPath 和表格最常见的错误是现代浏览器自动将 tbody 标记添加到 DOM。这就是为什么你需要在使用任何标签之前检查源代码。

不用tbody试试看:

//table[.//tr[td[b[contains(text(), "Nome do Plano")]]]]/tr 

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-05-23
    • 1970-01-01
    • 2018-07-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-12-27
    相关资源
    最近更新 更多