python beautifulsoup4如何在div标签中获取跨度文本

Question

这是html代码

<div aria-label="RM 6,000 a month" class="salary-snippet"><span>RM 6,000 a month</span></div>

我是这样用的

divs = soup.find_all('div', class_='job_seen_beacon')
    for item in divs:
        print(item.find('div', class_='salary-snippet'))

我得到了一个列表，例如

<div aria-label="RM 3,500 to RM 8,000 a month" class="salary-snippet"><span>RM 3,500 - RM 8,000 a month</span></div>

如果我用过

print(item.find('div', class_='salary-snippet').text.strip())

它会返回错误

AttributeError: 'NoneType' object has no attribute 'text'

那么我怎样才能只获得跨度文本？这是我第一次网络抓取

Answer 1

也许这就是你要找的东西。

• 首先选择类为salary-snippet 的所有<div> 标签，因为这是您要查找的<span> 标签的父标签。使用.find_all()
• 现在从上面遍历所有选定的<div> 标签，并从每个<div> 中找到<span>。
• 根据您的问题，我假设所有这些<div> 可能没有<span> 标记。在这种情况下，只有当<div> 包含span 标记时，您才能打印文本。见下文

# Find all the divs
d = soup.find_all('div', class_='salary-snippet')
# Iterating over the <div> tags
for item in d:
    # Find <span> in each item. If not exists x will be None
    x = item.find('span')
    # Check if x is not None and then only print
    if x:
        print(x.text.strip())

这是完整的代码。

from bs4 import BeautifulSoup

s = """<div aria-label="RM 6,000 a month" class="salary-snippet"><span>RM 6,000 a month</span></div>"""
soup = BeautifulSoup(s, 'lxml')

d = soup.find_all('div', class_='salary-snippet')
for item in d:
    x = item.find('span')
    if x:
        print(x.text.strip())

RM 6,000 a month

Answer 2

我认为这行应该是：

print(item.find('div', {'class':'salary-snippet'}).text.strip())

或者，如果只有span，您可以简单地使用：

item.find("span").text.strip()

考虑到您使用了.find_all() 方法，您可能希望确保每个div 从您的HTML 返回

soup.find_all('div', class_='job_seen_beacon')

包含您要查找的元素，因为如果只有一个元素不包含，则可能会出现 thi。

即

divs = soup.find_all('div', class_='job_seen_beacon')
for item in divs:
    try:
        print(item.find('div', {'class':'salary-snippet'}).text.strip())
    except AttributeError:
        print("Item Not available")

这将尝试获取文本，但如果失败将打印失败的项目，以便您确定原因......也许它没有您正在搜索的元素。