类属性不包含在 bs4 对象中

Question

我正在尝试抓取这个site，我正在使用requests 库和BeautifulSoup。所以这里的交易伙计们，我只是做一个requests.get() 并将其.content 转换为bs4 对象。 （我的解析器是"html5lib"）

在此之前，正如您在此处的图片中看到的，此标签上有一个class 属性。 你可以自己在网站上做一个检查元素，看看我在说什么。您可以访问site 并右键单击框字并检查元素。

现在，当我得到 .content 并将其转换为 bs4 对象并打印出 soup 变量时，您可以看到我在箭头中指出的 <p> 标签 没有 不再是class 属性，它只是一个简单的<p>。在这里检查一下，我已经尝试在 sublime text 上查找类值本身但没有结果，所以这意味着class 属性确实是不包含。

（汤的价值我不能全部放在这里，因为太长了，建议你也打印出来）

您可能想知道为什么我需要class 属性？我需要它来收集基于该类的相关数据，我需要它专门基于该类，因为我不能只是 .find() 一个 p 标签，因为在很多情况下会有其他 p 标签但是它们不是我想要获取的数据，所以我只是准确地说。

这也是我制作的简单代码，还请注意我已经尝试在其上放置用户代理，因为我也搜索过尝试像浏览器一样伪造，但仍然没有运气:(有人可以帮忙我也告诉我为什么会这样？谢谢！

import requests
from bs4 import BeautifulSoup

word = "opierać"

url = f"https://pl.wiktionary.org/wiki/{word}#{word}_(j%C4%99zyk_polski)"
headers = {"User-Agent": "Mozilla/5.0 (X11; CrOS x86_64 12871.102.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.141 Safari/537.36"}
r = requests.get(url,headers=headers)

print("Status code: ",r.status_code)
soup = BeautifulSoup(r.content,"html5lib")
print(soup)

Answer 1

正如@Gealber 所提到的，我还推荐Selenium 来执行您的任务。

示例

from selenium import webdriver
from bs4 import BeautifulSoup

word = "opierać"
url = f"https://pl.wiktionary.org/wiki/{word}#{word}_(j%C4%99zyk_polski)"

driver = webdriver.Chrome(executable_path=r'C:\Program Files\ChromeDriver\chromedriver.exe')
driver.get(url)
driver.implicitly_wait(3) 

soup = BeautifulSoup(driver.page_source,"html5lib")
p = soup.find('p', class_='lang-pl fldt-znaczenia')
print(p)
driver.close()

使用隐式等待网站完全加载 (More about selenium waits)：

driver.implicitly_wait(3) 

输出

<p class="lang-pl fldt-znaczenia"><i class="lang-pl fldt-znaczenia">czasownik przechodni niedokonany</i> (<link class="lang-pl fldt-znaczenia" href="mw-data:TemplateStyles:r6240524" rel="mw-deduplicated-inline-style"/><span class="short-container lang-pl fldt-znaczenia"><a class="mw-redirect lang-pl fldt-znaczenia" href="/wiki/Aneks:Skr%C3%B3ty_u%C5%BCywane_w_Wikis%C5%82owniku#D" title="Aneks:Skróty używane w Wikisłowniku"><span class="short-wrapper lang-pl fldt-znaczenia" data-expanded="aspekt dokonany" title="aspekt dokonany"><span class="short-content lang-pl fldt-znaczenia">dk.</span></span></a></span> <a class="lang-pl fldt-znaczenia" href="/wiki/opra%C4%87#pl" title="oprać">oprać</a>)
</p>

您也可以使用特殊的class 找到所有p 标签并循环：

soup.find_all('p', class_='lang-pl fldt-znaczenia')

Answer 2

你可以在p标签的基础上选择你想要的has一个子i标签（需要bs4.7.1+）并且是第一个匹配这个模式的。

import requests
from bs4 import BeautifulSoup as bs

soup = bs(requests.get('https://pl.wiktionary.org/wiki/opiera%C4%87#opiera%C4%87(j%C4%99zyk_polski').content, 'lxml')
print(soup.select_one('p:has(i)').text)