Selenium 没有完全下载文件

Question

我已经用 beautifulsoup、selenium(chrome) 和 python 建立了一个网络爬虫。

这很简单，beautifulsoup 解析一个充满链接的页面，selenium 一次跟随这些链接 1 个。 Selenium 在每个页面上找到一个特定的下载链接并单击它，开始下载。我会使用 beautifulsoup，但如果我不使用点击链接的浏览器，它会将我发送到带有验证码的页面。

无论如何，当 selenium 开始下载文件时，进度会在屏幕底部显示为 chrome。但是，在看似随机的一段时间后，它说文件在完成一半之前仅几秒钟就完全下载了。可能有一个 8 mb 的文件，它只下载 500 kb，然后说它完成了。我不知道为什么它不会完全下载文件，有人知道等待它真正完全下载文件的方法吗？一次可以下载多少个文件有限制吗？因为我要下载很多文件。

我不知道在这里做什么，我希望有人能解释一下。

Answer 1

你在这里并不需要selenium。

使用requests 和BeautifulSoup 就足够了。只需正确设置 User-Agent、Host 和 Referer 标头即可：

from bs4 import BeautifulSoup
import requests

URL = 'url here'

def download_file(url, filename, headers):
    r = requests.get(url, stream=True, headers=headers)
    with open(filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024):
            if chunk:
                f.write(chunk)
                f.flush()

# get link and file name
response = requests.get(URL)
soup = BeautifulSoup(response.content)
a = soup.find('td', text='Download:').next_sibling.a
link = a.get('href')
filename = a.text + '.pdf'

# download file
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.94 Safari/537.36',
    'Host': 'filepi.com',  # host could be extracted from the link
    'Referer': URL
}
download_file(link, filename, headers)