使用beautifulsoup下载href链接

Question

希望使用 beautifulsoup4、python 3 和 requests 库下载 href 链接。

这是我现在拥有的代码，我认为在这种情况下使用正则表达式会很困难，但我不确定是否可以使用 beautifulsoup3 来完成。我必须从网格中下载所有形状文件，并希望自动执行此任务。谢谢！

网址： https://earth-info.nga.mil/index.php?dir=coordsys&action=gars-20x20-dloads

import requests
from bs4 import BeautifulSoup
import re


URL = 'https://earth-info.nga.mil/index.php?dir=coordsys&action=gars-20x20-dloads'

page =  requests.get(URL)

soup = BeautifulSoup(page.content,'html.parser')




results = re.findall(r'<a[^>]* href="([^"]*)"', page)

print(results)

Answer 1

这些文件都与area标签相关联，所以我会简单地选择那些：

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://earth-info.nga.mil/index.php?dir=coordsys&action=gars-20x20-dloads')
soup = bs(r.content, 'lxml')
files = ['https://earth-info.nga.mil/' + i['href'] for i in soup.select('area')]

Answer 2

您可以将page 转换为字符串，以便使用正则表达式搜索所有a。

代替：

results = re.findall(r'<a[^>]* href="([^"]*)"', page)

用途：

results = re.findall(r'<a[^>]* href="([^"]*)"', page.text)