如何使用 Python 从网站下载所有 Zip 文件

Question

我正在尝试从以下位置下载所有压缩文件：https://www.google.com/googlebooks/uspto-patents-grants-text.html 网页。

完全披露，我不是专业的编码员，所以如果我犯了一些愚蠢的错误，请原谅我。

这是我的代码：

from bs4 import BeautifulSoup            
import requests

url = "https://www.google.com/googlebooks/uspto-patents-grants-text.html"
html = requests.get(url)
soup = BeautifulSoup(html.text, "html.parser")

for link in soup.find_all('a', href=True):
    href = link['href']

    if any(href.endswith(x) for x in ['.zip']):
    #if any(href.endswith('.zip')):
        print("Downloading '{}'".format(href))
        remote_file = requests.get(url + href)

        with open(href, 'wb') as f:
            for chunk in remote_file.iter_content(chunk_size=1024): 
                if chunk: 
                    f.write(chunk)  

我在运行代码时遇到的错误是： 文件“C:/Users/#USER#/#FILEPATH#/Python/patentzipscraper2.py”，第 16 行，在 使用 open(href, 'wb') 作为 f： OSError：[Errno 22] 无效参数：http://storage.googleapis.com/patents/grant_full_text/2015/ipg150106.zip'

但是，当我在浏览器中输入该地址时，我可以下载压缩文件。我猜这与压缩文件的格式有关，我不一定能直接下载/打开它们，但我不确定是什么。我基于此的代码是下载可以直接下载的文件（如 .txt）

任何有关如何下载这些 zip 的帮助将不胜感激。

Answer 1

在您的代码中实现类似：

import urllib

archive = urllib.request.URLopener()
archive.retrieve("http://yoursite.com/file.zip", "file.zip")