如何提取嵌套在多个划分元素中的锚元素

Question

我正在尝试从我漂亮的汤对象中提取锚元素，其中每个对象都嵌套在多个部门中。分区重复并用一些脚本分隔

我试图利用锚元素中的公共类属性来提取它们

我得到的代码：

<div id='container'>
<div class='nested'>
<a href='some url' class='link'>
</a>
</div>
</div>

#some scripts ....

<div id='container'>
<div class='nested'>
<a href='some url' class='link'>
</a>
</div>
</div>

我尝试了什么：

import requests, bs4, webbrowser

webpage=requests.get('some url')
webpage.raise_for_status()
soup=bs4.BeautifulSoup(webpage.text)
links=soup.select('.link a')

for i in range(0,5):
  webrowser.open('intial site url'+links[i].get('href'))
print(links)

没有打开任何标签。打印链接给出了一个空白列表

Answer 1

替换您的行代码：

links=soup.select('.link a')

到

  links=soup.find_all('a',{'class':'link'})
  print(links)

O/P：

[<a class="link" href="some url">
</a>, <a class="link" href="some url">
</a>]

获取href表单a标签：

for link in links:
  href = link['href']
  print(href)

Answer 2

.link a 将做所有孩子a 标签与父母有类link。之间的空格实际上是css descendant combinator，这意味着 lhs 是父级，rhs 是子级。删除空间以应用于同一元素。请注意，您需要从匹配的标签中提取 href 属性。

links = [item['href'] for item in soup.select('a.link')]

如果需要按类指定父div，则为

.nested a.link

或者更简单

.nested .link