【问题标题】:Find next siblings until a certain one using beautifulsoup使用 beautifulsoup 查找下一个兄弟姐妹,直到某个兄弟姐妹
【发布时间】:2012-07-23 17:51:23
【问题描述】:

网页是这样的:

<h2>section1</h2>
<p>article</p>
<p>article</p>
<p>article</p>

<h2>section2</h2>
<p>article</p>
<p>article</p>
<p>article</p>

我怎样才能找到其中包含文章的每个部分?即找到h2后,找到nextsiblings

直到下一个 h2。

如果网页是这样的:(通常是这种情况)

<div>
<h2>section1</h2>
<p>article</p>
<p>article</p>
<p>article</p>
</div>

<div>
<h2>section2</h2>
<p>article</p>
<p>article</p>
<p>article</p>
</div>

我可以写如下代码:

for section in soup.findAll('div'):
...
    for post in section.findAll('p')

但是如果我想获得相同的结果,我应该如何处理第一个网页?

【问题讨论】:

  • 它是维基百科页面吗?

标签: python find beautifulsoup scrape siblings


【解决方案1】:

next_siblings 迭代器在这里也很有帮助:

for i in soup.find_all('h2'):
    for sib in i.next_siblings:
        if sib.name == 'p':
            print(sib.text)
        elif sib.name == 'h2':
            print ("*****")
            break

【讨论】:

    【解决方案2】:

    我认为你可以这样做:

    for section in soup.findAll('h2'):
        nextNode = section
        while True:
            nextNode = nextNode.nextSibling
            try:
                tag_name = nextNode.name
            except AttributeError:
                tag_name = ""
            if tag_name == "p":
                print nextNode.string
            else:
                print "*****"
                break
    

    给定:

    <h2>section1</h2>
    <p>article1</p>
    <p>article2</p>
    <p>article3</p>
    
    <h2>section2</h2>
    <p>article4</p>
    <p>article5</p>
    <p>article6</p>
    

    输出:

    article1
    article2
    article3
    *****
    article4
    article5
    article6
    *****
    

    【讨论】:

    • 谢谢。这确实是单独的部分,但似乎并没有使文章属于某个部分。我想要一些能以某种方式获得与我给出的第一个示例相同的结果。
    • @user1550725 请再次检查解决方案。我认为此解决方案根据文章的部分将文章分开。
    • 我实际上是在使用 Calibre 为我要下载的网页制作食谱。这涉及识别部分和部分内的文章(之后将它们转换为电子书)。您提供的解决方案似乎将部分名称和文章视为相同。
    • @user1550725 "soup.findAll('h2')" 将为您提供与文章不同的所有部分。而“section.nextSibling”将为您提供 nextNode,您将检查它是文章(具有

      标签)还是部分。我假设结构将与您提供的相同(仅表示

      和

      )。您将获得部分和文章,这取决于您,将它们相同或分开对待。我希望这能澄清你的困惑。

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-07-12
    • 2019-05-06
    • 1970-01-01
    • 1970-01-01
    • 2020-05-27
    • 1970-01-01
    相关资源
    最近更新 更多