BeautifulSoup：解析错误的 Wordpress HTML

Question

所以我需要使用 Python 抓取一些网站，但问题是标记是随机的、非结构化的，并且很难使用。

例如

<p style='font-size: 24px;'>
    <strong>Title A</strong>
</p>
<p>
    <strong> First Subtitle of Title A </strong>
    "Text for first subtitle"
</p>

然后会切换到

<p>
    <strong style='font-size: 24px;'> Second Subtitle for Title B </strong>
</p>

然后有时新的字幕会添加到前一个字幕文本的末尾

<p>
    ...title E's content finishes 
    <strong>
        <span id="inserted31" style="font-size: 24px;"> Title F </span>
    </strong>
</p>
<p>
    <strong> First Subtitle for Title F </strong> 
</p>

足够混乱，这只是糟糕的标记。明显的模式，例如 'font-size:24px;'可以找到标题，但没有可靠的、可重复使用的方法来抓取孩子并将它们与标题相关联。

正则表达式可能有效，但我觉得随机性会导致抓取模式过于具体且不干燥。

我可以提议重写 html 并修复层次结构，但是，这是一个 wordpress 网站，我担心内容可能会在 wordpress 界面中与管理员不兼容。

任何关于更好的抓取方法或使用 wordpress 的方法的建议将不胜感激。我想尽可能避免复制/粘贴。

Answer 1

至少，您可以依靠标签名称和文本水平导航 DOM 树 - going sideways。这些都是您显示的strong、p 和span（带有id 属性集）标签。

例如，您可以获取strong 文本并获取以下兄弟：

>>> from bs4 import BeautifulSoup
>>> data = """
... <p style='font-size: 24px;'>
...     <strong>Title A</strong>
... </p>
... <p>
...     <strong> First Subtitle of Title A </strong>
...     "Text for first subtitle"
... </p>
... """
>>> soup = BeautifulSoup(data)
>>> titles = soup.find_all('strong')
>>> titles[0].text
u'Title A'
>>> titles[1].get_text(strip=True)
u'First Subtitle of Title A'
>>> titles[1].next_sibling.strip()
u'"Text for first subtitle"'