【问题标题】:How to navigate to certain tags in BeautifulSoup object?如何导航到 BeautifulSoup 对象中的某些标签?
【发布时间】:2021-07-21 08:57:36
【问题描述】:

链接到我正在使用的网址:https://www.sec.gov/Archives/edgar/data/789019/000106299321002323/0001062993-21-002323.txt

我可以访问某些标签中包含的文本/值,但不能访问其他标签中的文本/值。

设置(我如何获得 BS 汤对象):

new_url = r"https://www.sec.gov/Archives/edgar/data/789019/000106299321002323/0001062993-21-002323.txt"
response = requests.get(new_url)
soup = BeautifulSoup(response.content, 'lxml')

所有顶级标签(没有父标签的标签)似乎都可以访问。包含值的子标签也可以访问。

这就是我感到困惑的地方。

test = soup.nonDerivativeTable

结果是None

所以我无法导航到nonDerivativeTable 的子标签,如下所示:

test = soup.nonDerivativeTable.nonderivativetransaction

因为这会产生错误:AttributeError: 'NoneType' object has no attribute 'nonderivativetransaction'

但我可以跳过nonDerivativeTable标签到达那里:

test = soup.nonderivativetransaction

而且效果很好。作为一个新手非常困惑,因为我访问了一个子标签而不包括父标签。如果nonDerivativeTable 有值和标签而不是只有标签,test = soup.nonDerivativeTable.nonderivativetransaction 会起作用吗?

好的,现在我可以跳过产生AttributeError 的父标记,我试试:

test = soup.nonderivativetransaction.transactioncoding

结果看起来不错:

<transactioncoding>
<transactionformtype>4</transactionformtype>
<transactioncode>F</transactioncode>
<equityswapinvolved>0</equityswapinvolved>
</transactioncoding>

向下钻取一层:

test = soup.nonderivativetransaction.transactioncoding.transactionformtype

结果看起来不错:

<transactionformtype>4</transactionformtype>

但是当我尝试同一父母的其他子标签时:

test = soup.nonderivativetransaction.transactioncoding.transactionCode
test = soup.nonderivativetransaction.transactioncoding.equitySwapInvolved

结果为无:

None
None

为什么我不能像访问同一父标签的另一个子标签一样访问这些子标签?

【问题讨论】:

    标签: python xml beautifulsoup


    【解决方案1】:

    你需要使用lxml的XML parser。

    对于 HTML:

    soup = BeautifulSoup(response.content, 'lxml')
    

    对于 XML(以下任何一种都是等效的):

    soup = BeautifulSoup(response.content, 'xml')
    soup = BeautifulSoup(response.content, 'lxml-xml')
    soup = BeautifulSoup(response.content, ['lxml', 'xml'])
    

    您的所有调试问题都在于尝试使用区分大小写的名称(例如 nonDerivativeTable)访问元素,但由于其名称已被 HTML 解析器展平(例如 nonderivativetable)而未能找到它们。

    希望通过特定大小写的名称访问 XML 元素是完全公平的,因为 XML(与 HTML 不同)是区分大小写的标准。

    【讨论】:

    • XML 解析器不会将其强制为小写,因此此处的等价物将是 test = soup.nonDerivativeTable 或 test = soup.nonDerivativeTable.transactionCoding。顺便说一句,指定'xml'只是lxml的XML解析器。
    • 谢谢!查看 BeautifulSoup 文档,它同时显示了 BeautifulSoup(markup, "lxml-xml") 和 BeautifulSoup(markup, "xml")。我猜这些是等价的?
    • 是的,我发现 xml 解析器产生了区分大小写的汤,这就是为什么我删除了我之前的评论。非常感谢!
    • 是的,它们是等价的。不用担心
    【解决方案2】:

    如何导航到 BeautifulSoup 对象中的某些标签?

    要么:

    使用您当前的语法切换到小写:

    soup.nonderivativetable
    

    Why lowercase?

    由于 HTML 标记和属性不区分大小写,所有三个 HTML 解析器将标记和属性名称转换为小写。那就是 标记转换为 .如果你想 保留混合大小写或大写的标签和属性,您需要 将文档解析为 XML。


    或者,

    只需切换到使用 CSS 选择器(鉴于此文档,可能不太理想):

    import requests
    from bs4 import BeautifulSoup
    
    new_url = r"https://www.sec.gov/Archives/edgar/data/789019/000106299321002323/0001062993-21-002323.txt"
    response = requests.get(new_url)
    soup = BeautifulSoup(response.content, 'lxml')
    soup.select('nonDerivativeTable')
    

    lxml绝对可以用于xml

    lxml 是 Python 语言中用于处理 XML 和 HTML 的功能最丰富且易于使用的库。


    替代方案:

    给定文档,提取实际的 XML 文档,然后直接使用 lxml 而不涉及 BeautifulSoup?

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-02-14
      • 1970-01-01
      • 2014-12-01
      • 2020-11-20
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多