在两个 <td> 标签之间查找音频和文本 Python BeautifulSoup答案

【问题标题】：Finding Audio and Text between two <td> tags Python BeautifulSoup在两个 <td> 标签之间查找音频和文本 Python BeautifulSoup
【发布时间】：2019-10-31 05:15:04
【问题描述】：

我正在使用这个网站http://www.nemoapps.com/phrasebooks/hebrew。

对于每个 td 元素，例如，我想获取第一个 mp3 音频文件/audio/mp3/HEBFND1_1395.mp3，然后获取希伯来文文本שרה שרה שיר שמח, שיר שמח שרה שרה 和发音Sara shara shir sameaĥ, shir sameaĥ shara sara

下面的代码类型完成了我想要得到的，但并不完全在那里。

<source src="/audio/ogg/HEBFND1_1395.ogg" type="audio/ogg">
</source></source>
[]
[<div class="target1" lang="he"><strong>\u05e9\u05e8\u05d4 \u05e9\u05e8\u05d4 \u05e9\u05d9\u05e8 \u05e9\u05de\u05d7, \u05e9\u05d9\u05e8 \u05e9\u05de\u05d7 \u05e9\u05e8\u05d4 \u05e9\u05e8\u05d4</strong></div>, <div class="target2" lang="he-Latn"><strong>Sara shara shir samea\u0125, shir samea\u0125 shara sara</strong></div>, <div class="translation">Tongue Twister: Sara sings a happy song, a happy song Sara is singing</div>]

这是我得到的示例输出。但是我需要进入source 和<div> 来检索我想要的信息。

以下是我使用的代码。

from bs4 import BeautifulSoup
import re
import urllib

_url = "http://www.nemoapps.com/phrasebooks/hebrew"
soup = BeautifulSoup(urllib.urlopen(_url), features="lxml")
_trs = soup.find_all('tr')
for tr in _trs:
    cells = tr.find_all('td', recursive=False)
    for cell in cells:
        audio = cell.find_all('audio')
        div = cell.find_all('div')
        for a in audio:
            source = a.find_all('source', type='audio/mpeg')
            for s in source:
                print(s)
        print(div)
    print("++++++++")

如果有任何其他有效的方法可以实现这一点，请告诉我。谢谢，

【问题讨论】：

每个 tr 都相当结构化。 BS4 允许您找到这些，而无需使用您正在执行的循环循环进入每个循环。每个 tr 都包含音频（您可以进行 find 而不是 find_all ，因为从来没有多个音频/mpeg 类型的）。此外，所有 target1 类，he lang div 是希伯来语，he-Latn lang/target2 是语音，类翻译是英语。您应该能够将这些中的每一个定义为一个变量。每个 tr 恰好有其中的 1 个；这意味着您可以使用 find 而不需要 3 个嵌套的 for 循环。

标签： python python-3.x web-scraping beautifulsoup urllib

【解决方案1】：

就我个人而言，我发现 BeautifulSoup 难以使用且具有复杂性，尤其是在通过最简单的规则以外的任何方式查找元素时。

lxml 模块在 HTML 源代码中运行良好，并提供 XPath 支持，这意味着查找元素要容易得多而且更加灵活。

我也更喜欢使用 requests 模块而不是非常简单的 urllib。

import requests
from lxml import etree

resp = requests.get("http://www.nemoapps.com/phrasebooks/hebrew")

htmlparser = etree.HTMLParser()
tree = etree.fromstring(resp.text, htmlparser)

for tr in tree.xpath('.//table[@class="nemocards"]/tr'):
    data = {
        'source': tr.xpath('string(.//source[@type="audio/mpeg"]/@src)'),
        'hebrew': tr.xpath('normalize-space(.//div[@lang="he"])'),
        'latin': tr.xpath('normalize-space(.//div[@lang="he-Latn"])'),
        'translation': tr.xpath('normalize-space(.//div[@class="translation"])'),
    }
    print(data)

注意事项：

string() 是一个 XPath 函数，用于获取节点的文本内容（无论是属性节点还是元素节点都没有区别）。
normalize-space() 做同样的事情，但它还会修剪多余的空白。
如果在没有此类字符串转换的情况下调用（例如tr.xpath('.//div[@lang="he"]')，您将获得一个（可能为空的）匹配元素列表。由于您的目标是提取元素的文本内容，而此任务在立即使用 XPath 字符串函数的 Python 代码让您的生活变得更加轻松 - 它们只会返回一个（可能为空的）字符串。
.//table[@class="nemocards"] 只会在表的类属性精确“nemocards”时匹配。对于部分匹配，可以使用 .//table[contains(@class, "nemocards")] 之类的内容。

输出是这样的：

{'source': '/audio/mp3/HEBFND1_0001.mp3', 'hebrew': 'שלום', 'latin': 'Shalom', 'translation': 'Hello'}

【讨论】：