数据抓取 XPath 跨度不返回任何值

Question

我正在尝试从在线评论网站检索有用性指标。使用 Python 和 lxml 我尝试检索此值，但输出仍然为空。我使用了以下代码和相应的 XPath：

span class="brand-find-useful__count">1</span>

tree = html.fromstring(page) helpfulness = tree.xpath('//span[@class="brand-find-useful__count"]/text()')

但是，它只是没有给我一个输出，只是一个空值。重要的是要注意，当没有竖起大拇指（有用）时，这个跨度不会出现。我在一个肯定有有用计数的页面上尝试了几次知道，但不幸的是我无法检索它。我仍然是新手，但我不知道错误是什么。

Answer 1

您使用了错误的 xpath，//span[@class="brand-find-useful__count"]/text() 不是有效的 xpath，因为它仅在您有 JavaScript 渲染输出时才会出现。您可以通过查看浏览器中的页面源代码来验证这一点（不使用 devtools）

view-source:https://www.trustpilot.com/review/www.trivago.co.uk?page=4

您还可以在 view-source 中找到带有评论的 json 数据的脚本标签，您可以使用该 json 字符串而不是从元素中获取数据。我会把它留给你检查。

以下代码向您展示了如何从页面中获取帮助计数。

解决方案

import requests
from lxml import html

response = requests.get('https://www.trustpilot.com/review/www.trivago.co.uk?page=4')

tree = html.fromstring(response.text)

# fetches all useful elements 
useful = tree.xpath('//brand-find-useful-button')

# loop through each element
for e in useful:
  print(e.get(':initial-find-useful-count'))

输出

1
1
0
1
0
2
2
1
2
0
1
0
0
1
1
1
1
1
1

查看实际情况here。

Answer 2

您也可以使用select，然后提取相关属性。

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://www.trustpilot.com/review/www.trivago.co.uk?page=4')
soup = bs(r.content, 'lxml')

for review in soup.select('.review'):
    useful = review.select_one('brand-find-useful-button')
    print(useful[':initial-find-useful-count'])