无法使用 Beautiful Soup 和 Selenium 遍历元素以刮取烂番茄评级数据

Question

我正在尝试访问包含评分数据的元素，但我不知道如何遍历它（图片链接如下）。评论评分和收视率的 span 元素属于同一类 (mop-ratings-wrap__percentage)。我试图通过分别遍历它们各自的 div（'mop-ratings-wrap__half' 和 'mop-ratings-wrap__half Audience-score'）来获取元素，但我收到了这个错误：

runfile('/Users/*/.spyder-py3/temp.py', wdir='/Users/*/.spyder-py3')
Traceback (most recent call last):

  File "/Users/*/.spyder-py3/temp.py", line 22, in <module>
    cr=a.find('span', attrs={'class':'mop-ratings-wrap__percentage'})

TypeError: find() takes no keyword arguments

这是我的代码：

# -*- coding: utf-8 -*-
from selenium import webdriver
from bs4 import BeautifulSoup
import pandas as pd

driver = webdriver.Chrome("/Users/*/Downloads/chromedriver")


critics_rating=[]
audience_rating=[]
driver.get("https://www.rottentomatoes.com/m/bill_and_ted_face_the_music")

content = driver.page_source
soup = BeautifulSoup(content, "lxml")

for a in soup.find('div', attrs={'class':'mop-ratings-wrap__half'}):
      cr=a.find('span', attrs={'class':'mop-ratings-wrap__percentage'})
      critics_rating.append(cr.text)


for b in soup.find('div', attrs={'class':'mop-ratings-wrap__half audience-score'}):
      ar=b.find('span', attrs={'class':'mop-ratings-wrap__percentage'})
      audience_rating.append(ar.text) 

print(critics_rating)
        
    
 

我在关注这篇文章：https://www.edureka.co/blog/web-scraping-with-python/#demo

And here is the data I want to extract

Answer 1

我怀疑

soup.find()

返回一个字符串而不是你期望的 bs4 对象。所以你在打电话

"somestring".find()

不接受关键字参数。

（我会对此发表评论，但我缺乏声誉，抱歉）

Answer 2

问题在于您的循环for a in soup.find('div', attrs={'class':'mop-ratings-wrap__half'}): 您返回了一个元素，然后尝试遍历它，这相当于遍历返回的字符串元素的每个字母。现在你不能在字母上运行find 方法。 解决方案 如果您想循环遍历元素以在它们之上使用find 方法，请改用find_all。因为它会返回一个webelements的列表，你可以使用循环一个一个地遍历。

    content = driver.page_source
soup = BeautifulSoup(content, 'html.parser')
ratings =[]
for a in soup.find_all('div', attrs={'class':'mop-ratings-wrap__half'}):
      cr=a.find('span', attrs={'class':'mop-ratings-wrap__percentage'})
      ratings.append(cr.text)

for rating in ratings:
    print(rating.replace("\n", "").strip())

输出：上面的代码将打印：

注意：要打印您想要的结果，上述方法并不是最常用的方法。但我试图回答你的疑问，而不是给出更好的解决方案。您可以使用ratings[0] 打印评论评分，使用ratings[1] 打印用户评分。