使用 python 3 创建一个脚本以捕获网页上的链接

Question

我要抓到本页所有话题的链接：https://www.inforge.net/xi/forums/liste-proxy.1118/

我试过这个脚本：

import urllib.request
from bs4 import BeautifulSoup

url = (urllib.request.urlopen("https://www.inforge.net/xi/forums/liste-proxy.1118/"))
soup = BeautifulSoup(url, "lxml")

for link in soup.find_all('a'):
    print(link.get('href'))

但它会打印页面的所有链接，而不仅仅是我想要的主题链接。你能建议我快速的方法吗？我还是个新手，最近开始学习python。

Answer 1

您可以使用 BeautifulSoup 来解析 HTML：

from bs4 import BeautifulSoup
from urllib2 import urlopen

url= 'https://www.inforge.net/xi/forums/liste-proxy.1118/'
soup= BeautifulSoup(urlopen(url))

然后找到与

的链接

soup.find_all('a', {'class':'PreviewTooltip'})