【问题标题】:parsing HTML using BeautifulSoup使用 BeautifulSoup 解析 HTML
【发布时间】:2013-03-10 10:28:39
【问题描述】:

我想使用 Python 中的 BeautifulSoup 模块读取网页上的列表。 HTML 代码如下:

...
<ul id="sidebarmenu1">
<li><a href="Business">Business</a></li>
<li><a href="Warfare">Chinese</a></li>
</ul>
...

我使用 BeautifulSoup 解析文档。现在我想遍历列表的元素。所以我使用 next_siblings 属性如下:

first_element = soup.ul.li
for items in soup.ul.li.next_siblings :
    <statements>

但是,这会产生以下错误:

TypeError: 'NoneType' object is not iterable

谁能告诉我如何阅读下一个 li 标签。由于显然在同一级别还有另一个 li 标签,所以应该在 next_siblings 列表中。

难道没有办法在同一级别访问所有 li 标签。 findAll 为 all 提供嵌套在给定结构中的标签。

【问题讨论】:

    标签: python html-parsing beautifulsoup


    【解决方案1】:

    借用@elssar 的回答,我使用了这段代码:

    main_list= soup.find('ul', attrs= {'id': 'sidebarmenu1'}
    for li in main_list.findAll('li',attrs={},recursive=False):
        ul = li.find('ul')
        if ul == None :
            #do something
        else:
            navigate(ul)
    

    navigate(item) 是递归函数:

    def navigate(item):
        for con in item.findAll('li',attrs={},recursive=False):
                ul = con.find('ul')
                if (ul == None):
                    #do something
                else:
                    navigate(ul)
    

    【讨论】:

      【解决方案2】:

      见this solution。它对嵌套元素使用 findAll()。

      不确定这是否完全是您想要的,但这可能是一个开始。

      【讨论】:

      • 没有办法只找到同一级别的标签。
      【解决方案3】:

      你做这样的事情-

      main_list= soup.find('ul', attrs= {'id': 'sidebarmenu1'}
      elements= main_list.findAll('li')
      for link in elements:
          #do something
      

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2012-12-13
        • 1970-01-01
        • 2016-01-28
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多