使用美汤提取嵌套的 span/p/div 结构

Question

我正在尝试从页面中提取这部分：

使用检查我看到：

inspect 视图中定义的结构是否总是遵循bs4 返回的内容？

我正在使用：

import json
import requests
from bs4 import BeautifulSoup

url = "https://docs.google.com/document/d/e/2PACX-1vSWVk1yd_I_zhVROYN2wv1r1y_54M-QL0199ZQ4g9mQZ7QdzekVzsRFUB_JVfkInwLxDNPmrwlY2x7y/pub?fbclid=IwAR0BsTNrbDeLb6j7tU2XhVxeh9WaQU_vELyDS3oNvem3eapiJ1zoBqZIYes"    
soup = BeautifulSoup(requests.get(url).content, "html.parser")  
data = soup.find_all('span',"c2")

但它会返回：

[<span class="c2"></span>,
 <span class="c2"></span>,
 <span class="c2">Gyventojai, kuriems yra daugiau nei 65 metai (1.14 prioritetas)</span>,
 <span class="c2"></span>,
 <span class="c2">——————————————————————</span>,
 <span class="c2"></span>,
 <span class="c2"></span>,
 <span class="c2"></span>,
 <span class="c2">Švietimo sistemos darbuotojai bei abiturientai (1.15 prioritetas)</span>,
 <span class="c2">Diplomatai (1.16)</span>,
 <span class="c2">Sergantieji lėtinėmis ligomis (1.17)</span>,
 <span class="c2">Socialinių paslaugų teikėjai (1.18)</span>,
 <span class="c2">1.20 prioritetas: gyvybiškai svarbias valstybės funkcijas atliekantys asmenys, kontaktuojantys su kitais asmenimis (pareigūnai, prekybos įmonių salės darbuotojai ir kt.), išskyrus bendrųjų funkcijų darbuotojus. Šiuo metu šio prioriteto sąrašai nuolat keliami.</span>,
 <span class="c2">Gyventojų grupė 55-64 m.</span>,
 <span class="c2"></span>,
 <span class="c2">.</span>,
 <span class="c2"></span>,
 <span class="c2"></span>,
 <span class="c2"></span>]

其中不包括<p class="c6"><span class="c2">ŠIUO METU - TIK SENJORAI:</span></p>

我不确定为什么，因为它在检查视图和bs4 返回的data 中都清楚地说明了class c2。

我是否应该始终遵循包含多个 find 语句的嵌套结构，或者获取所需数据的最佳做法是什么？

Answer 1

问题是，CSS 类名每次重新加载都会改变，所以有时是 c7，重新加载时是 c1 等等。

此示例将搜索包含“红色”颜色的 CSS 类名（如您所需的文本），然后使用该类名查找您的文本：

import re
import requests
from bs4 import BeautifulSoup


url = "https://docs.google.com/document/d/e/2PACX-1vSWVk1yd_I_zhVROYN2wv1r1y_54M-QL0199ZQ4g9mQZ7QdzekVzsRFUB_JVfkInwLxDNPmrwlY2x7y/pub?fbclid=IwAR0BsTNrbDeLb6j7tU2XhVxeh9WaQU_vELyDS3oNvem3eapiJ1zoBqZIYes"

html_doc = requests.get(url).text

# find CSS class name that is red:
class_name = re.search(r"\.(c\d+)\{color:#cc0000;", html_doc).group(1)
soup = BeautifulSoup(html_doc, "html.parser")

print(soup.find(class_=class_name).text)

打印：

ŠIUO METU - TIK SENJORAI: