从 BeautifulSoup 中提取后提取特定链接

Question

我之前使用 BeautifulSoup4 在网页中提取了一些信息：https://www.peakbagger.com/list.aspx?lid=5651

我得到了一个href列表：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import pandas as pd

url = 'https://www.peakbagger.com/list.aspx?lid=5651'
html = urlopen(url)
soup = BeautifulSoup(html, 'html.parser')

a= soup.select("a:nth-of-type(1)")
a

但我只想要链接以“peak.aspx?pid=10...”开头的那个

如何只打印出带有 'peak.aspx?pid=10...' 的那些，我需要使用循环还是拆分它？

谢谢。

Answer 1

一种方法可能是遍历您的选择，然后只选择包含字符串 peak.aspx?pid= 的链接：

[x['href'] for x in soup.select('a') if 'peak.aspx?pid=' in str(x)]

但您也可以指定 selector 来获取结果 - 这只会为您提供表格中的第二列及其 a 标签：

soup.select('table.gray  tr td:nth-of-type(2) a')

要获取链接，您必须遍历结果：

[x['href'] for x in soup.select('table.gray  tr td:nth-of-type(2) a')]