使用 wget 下载文件

【问题标题】：Download file using wget使用 wget 下载文件
【发布时间】：2013-02-15 11:44:06
【问题描述】：

我需要从网页下载适合文件。我正在使用-i wget 选项执行此操作：我将下载文件存储在包含 URL1、URL2 的 list.txt 文件中......然后

$ wget -i list.txt

您知道是否有可能使用 Python 脚本来做同样的事情？

【问题讨论】：

标签： python download wget

【解决方案1】：

假设您的文件每行包含一个 URL，您可以这样做：

import urllib2
with open('list.txt') as my_list:
    for line in my_list:
        response = urllib2.urlopen(line)
        html = response.read()
        # now process the page's source

【讨论】：

好吧，它似乎有效。但是，如果网站受用户名和密码保护怎么办？在这种情况下，相同的脚本返回 urllib2.HTTPError: HTTP Error 401: Authorization Required 我该如何解决这个问题？
见voidspace.org.uk/python/articles/…的例子

【解决方案2】：

如果您获得 SSL：CERTIFICATE_VERIFY_FAILED：

import wget
import ssl

ssl._create_default_https_context = ssl._create_unverified_context
with open('list.txt') as my_list:
    for url in my_list:
        wget.download(url)

使用操作系统库：

import os

with open('list.txt') as my_list:
    for url in my_list:
        os.system('wget ' + url)

【讨论】：

【解决方案3】：

with open('list.txt') as my_list:
    for url in my_list:
        wget.download(url)

【讨论】：