使用从 Beautifulsoup 中提取的 href

Question

我是一名 Python 初学者，学习网络爬虫。

在这个项目中，我必须检索一些hrefs，然后打印出每个href 链接中的文本内容。到目前为止，这是我的代码：

import requests, bs4, os, webbrowser
url = 'http://www.constructeursdefrance.com/resultat/?dpt=53'
res = requests.get(url)
res.raise_for_status()

soup = bs4.BeautifulSoup(res.text,'html.parser')
for a in soup.select('.link'):
    links = a.find('a').attrs['href']

我用链接尝试了很多东西，但它会说“unicode is not callable”。 我如何使用这些链接并最终遍历它们以提取其中的文本？

谢谢

Answer 1

你的代码差不多完成了，只是一点点改变

import requests, bs4, os, webbrowser
url = 'http://www.constructeursdefrance.com/resultat/?dpt=53'
res = requests.get(url)
res.raise_for_status()

soup = bs4.BeautifulSoup(res.text,'html.parser')
links = []
for div in soup.select('.link'):
    link = div.a.get('href')
    links.append(link)
print(links)

出来：

['http://www.constructeursdefrance.com/concept-habitat/',
 'http://www.constructeursdefrance.com/maisons-bois-cruard/',
 'http://www.constructeursdefrance.com/passiva-concept/',
 'http://www.constructeursdefrance.com/les-constructions-de-la-mayenne/',
 'http://www.constructeursdefrance.com/maisonsdenfrance53/',
 'http://www.constructeursdefrance.com/lemasson53/',
 'http://www.constructeursdefrance.com/ecb53/',
 'http://www.constructeursdefrance.com/villadeale-53/',
 'http://www.constructeursdefrance.com/habitat-plus-53/']

select('.link') 将返回一个包含子标签 a 的 div 标签列表， 所以你可以通过div.a 获得标签，而不是通过div.a.get('href') 获得href

Answer 2

尝试以下方法：

import requests, bs4, os, webbrowser
url = 'http://www.constructeursdefrance.com/resultat/?dpt=53'
res = requests.get(url)
res.raise_for_status()

soup = bs4.BeautifulSoup(res.text,'lxml')
links = soup.findAll('a')

for link in links:
    try:
        print link.attrs['href']
    except:
        pass

希望这会有所帮助。