使用 Python 和 Beautifulsoup4 提取指定元素后的链接 URL

Question

我正在尝试使用 python 和 beautifulsoup 库从页面中提取链接，但我被卡住了。该链接位于下一页的侧边栏区域，直接位于 h4 字幕“原始来源：

下方

http://www.eurekalert.org/pub_releases/2016-06/uonc-euc062016.php

我已经设法（大部分）隔离了链接，但我不确定如何进一步推进我的定位以实际提取链接。到目前为止，这是我的代码：

import requests
from bs4 import BeautifulSoup

url = "http://www.eurekalert.org/pub_releases/2016-06/uonc-euc062016.php"
data = requests.get(url)
soup = BeautifulSoup(data.text, 'lxml')

source_url = soup.find('section', class_='widget hidden-print').find('div', class_='widget-content').findAll('a')[-1]

print(source_url)

我目前正在获取我隔离的最后一个元素的完整 html，我试图简单地获取链接。值得注意的是，这是我试图获取的页面上的唯一链接。

Answer 1

您正在寻找href html 属性的链接。 source_url 是一个bs4.element.Tag，它具有get 方法，例如：

source_url.get('href')

Answer 2

你几乎明白了！

---

解决方案 1：

您只需在分配给source_url 的soup 上运行.text 方法。

所以而不是：

print(source_url)

你应该使用：

print(source_url.text)

---

输出：

http://news.unchealthcare.org/news/2016/june/e-cigarette-use-can-alter-hundreds-of-genes-involved-in-airway-immune-defense

---

解决方案 2：

您应该调用source_url.get('href') 以仅获取与您的soup.findall 元素相关的特定href 标记。

print source_url.get('href')

输出：

http://news.unchealthcare.org/news/2016/june/e-cigarette-use-can-alter-hundreds-of-genes-involved-in-airway-immune-defense