【问题标题】:Scraping data via scrapy from table yields nothing通过从表中刮取数据不会产生任何结果
【发布时间】:2021-09-25 07:06:58
【问题描述】:

我在从下表中提取数据时遇到问题。

https://tirewheelguide.com/sizes/perodua/myvi/2019/

我想提取此示例中的尺寸,它将是 175/65 SR14

<a style="text-decoration: underline;" href="https://tirewheelguide.com/tires/s/175-65-14/">175/65 SR14 </a>

使用scrapy shell函数

response.xpath('/html/body/div[2]/table[1]/tbody/tr[1]/td[1]/a[1]/text()').get()

什么都没有。

你知道我做错了什么吗?

【问题讨论】:

  • 你为什么使用beautufulsoup你接受这个答案吗?

标签: python beautifulsoup scrapy


【解决方案1】:

你的 XPath 有问题

改为:

response.xpath('/html/body/div[2]/table[1]/tbody/tr[1]/td[1]/a[1]/text()').get()

使用这个:

response.xpath('//table[1]//td//a/text()').get()

某些网站没有正确创建表,因此在我的 XPath 中我通过了html/body/div,tr 也存在问题。该网站在同一行中创建了多个 tr,这会导致问题。如果您使用我发布的 XPath,它将正常工作。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-12-28
    • 2020-12-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-07-11
    • 2021-09-07
    相关资源
    最近更新 更多