来自 Tripadvisor 的评分答案

【问题标题】：Scraping rating from Tripadvisor来自 Tripadvisor 的评分
【发布时间】：2021-10-10 20:09:56
【问题描述】：

我正在从 TripAdvisor (https://www.tripadvisor.it/Attractions-g187147-Activities-c42-Paris_Ile_de_France.html) 获取在巴黎要做的活动。

我编写的代码运行良好，但我还没有找到获得每个活动评分的方法。 Tripadvisor 的评分由 5 轮表示，我需要知道其中有多少轮是彩色的。

我在“评分”字段中一无所获。

按照代码：

wd = webdriver.Chrome('chromedriver',chrome_options=chrome_options)
wd.get("https://www.tripadvisor.it/Attractions-g187147-Activities-c42-Paris_Ile_de_France.html") 

import pprint 
detail_tours = [] 
for tour in list_tours:
    url = tour.find_elements_by_css_selector("a")[0].get_attribute("href")
    title = ""
    reviews = ""
    rating = ""
    if(len(tour.find_elements_by_css_selector("._1gpq3zsA._1zP41Z7X")) > 0):
      title = tour.find_elements_by_css_selector("._1gpq3zsA._1zP41Z7X")[0].text 
    if(len(tour.find_elements_by_css_selector("._7c6GgQ6n._22upaSQN._37QDe3gr.WullykOU._3WoyIIcL")) > 0):
      reviews = tour.find_elements_by_css_selector("._7c6GgQ6n._22upaSQN._37QDe3gr.WullykOU._3WoyIIcL")[0].text 
    if(len(tour.find_elements_by_css_selector(".zWXXYhVR")) > 0):
      rating = tour.find_elements_by_css_selector(".zWXXYhVR")[0].text

detail_tours.append({'url': url,
                        'title': title,
                        'reviews': reviews,
                        'rating': rating})

【问题讨论】：

BeautifulSoup

标签： python selenium web-scraping css-selectors

【解决方案1】：

我会以类似于建议代码的方式使用 BeautifulSoup。（我也建议你研究一下html的结构，但是看原始代码我认为没有必要。）

import requests
from bs4 import BeautifulSoup
import re

header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36"}

resp = requests.get('https://www.tripadvisor.it/Attractions-g187147-Activities-c42-Paris_Ile_de_France.html', headers=header)
if resp.status_code == 200:
    soup = BeautifulSoup(resp.text, 'lxml')
    cards = soup.find_all('div', {'data-automation': 'cardWrapper'})
    for card in cards:
        rating = card.find('svg', {'class': 'zWXXYhVR'})
        match = re.match('Punteggio ([0-9,]+)', rating.attrs['aria-label'])[1]
        print(float(match.replace(',', '.')))

还有一个小红利信息，链接中以 oa 开头的部分（在下面的示例中：oa60）表示起始偏移量，它以 30 个结果增量运行 - 因此，如果您想更改页面，您可以更改您的链接以包含 oa30、oa60、oa90 等：https://www.tripadvisor.it/Attractions-g187147-Activities-c42-oa60-Paris_Ile_de_France.html

【讨论】：