访问 html 标记中的特定表

Question

我将使用beautifulsoup在以下链接中查找“内容逻辑定义”中定义的表：

1) https://www.hl7.org/fhir/valueset-account-status.html
2) https://www.hl7.org/fhir/valueset-activity-reason.html
3) https://www.hl7.org/fhir/valueset-age-units.html 

可以在页面中定义多个表。我想要的表位于<h2> tag with text “content logical definition” 下。某些页面可能在“内容逻辑定义”部分中缺少任何表，因此我希望该表为空。到目前为止，我尝试了几种解决方案，但每个解决方案都为某些页面返回了错误的表格。

alecxe 提供的最后一个解决方案是：

import requests
from bs4 import BeautifulSoup

urls = [
    'https://www.hl7.org/fhir/valueset-activity-reason.html',
    'https://www.hl7.org/fhir/valueset-age-units.html'
]

for url in urls:
    r = requests.get(url)
    soup = BeautifulSoup(r.content, 'lxml')

    h2 = soup.find(lambda elm: elm.name == "h2" and "Content Logical Definition" in elm.text)
    table = None
    for sibling in h2.find_next_siblings():
        if sibling.name == "table":
            table = sibling
            break
        if sibling.name == "h2":
            break
    print(table)

如果“内容逻辑定义”部分中没有表，则此解决方案返回 null，但对于“内容逻辑定义”中包含表的第二个 url，它返回错误的表，即页面末尾的表。
如何编辑此代码以访问恰好在具有“内容逻辑定义”文本的标记之后定义的表，如果本节中没有表，则返回 null。

Answer 1

看起来 alecxe 的代码的问题在于它返回的表是 h2 的直接兄弟，但您想要的实际上是在一个 div 中（这是 h2 的兄弟）。这对我有用：

import requests
from bs4 import BeautifulSoup

urls = [
    'https://www.hl7.org/fhir/valueset-account-status.html',
    'https://www.hl7.org/fhir/valueset-activity-reason.html',
    'https://www.hl7.org/fhir/valueset-age-units.html'
]


def extract_table(url):
    r = requests.get(url)
    soup = BeautifulSoup(r.content, 'lxml')

    h2 = soup.find(lambda elm: elm.name == 'h2' and 'Content Logical Definition' in elm.text)
    div = h2.find_next_sibling('div')
    return div.find('table')


for url in urls:
    print extract_table(url)