【问题标题】:Streaming download large file with python-requests interrupting使用python请求中断流式下载大文件
【发布时间】:2013-11-12 15:28:24
【问题描述】:

我在 python-requests v. 2.0.1 中流式下载大文件(大约 1.5 GB)时遇到问题

with open("saved.rar",'wb') as file:
    r = session.get(url,stream=True,timeout=3600)
    for chunk in r.iter_content(chunk_size=1024):
        if chunk:
            file.write(chunk)
            file.flush()

我在我的 vps 上对其进行了几次测试,有时它会下载 200mb、500mb 或 800mb 并保存它而没有任何错误。它没有达到超时,就像完成下载一样停止。

我下载这个文件的主机是稳定的,因为我在浏览器中下载这个文件没有任何问题。

有什么方法可以在 python-requests 中下载大文件并 100% 确定其整个文件?

@编辑

我已经使用 urllib 解决了这个问题,问题仅在于请求。 无论如何感谢您的帮助。

【问题讨论】:

  • 我被你头像中的照片分心了!哈哈!我在开玩笑。在 SO 中并不常见....查看此链接...stackoverflow.com/questions/16694907/…
  • @Jack_of_All_Trades 不幸的是,我在那里没有找到任何东西。这与我的代码相同。

标签: python python-requests


【解决方案1】:

可能有几个问题会导致下载中断。网络问题等。但是我们在开始下载之前知道文件大小以检查您是否下载了整个文件,您可以使用 urllib 进行此操作:

site = urllib.urlopen("http://python.org")
meta = site.info()
print meta.getheaders("Content-Length")

使用请求:

r = requests.get("http://python.org")
r.headers["Content-Length"]

【讨论】:

  • 好吧,但我想知道请求有什么问题,因为我需要下载文件 10 次才能获得整个文件,而 curl 没有同样的问题。
  • 您可能需要 os.fsync(),如 stackoverflow.com/a/7127162/2938650 中所述。尝试记录任何错误和异常。我怀疑可能是内存不足消息。
猜你喜欢
  • 2013-05-17
  • 2021-08-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多