用python下载大文件的最佳方法答案

【问题标题】：best way to download large files with python用python下载大文件的最佳方法
【发布时间】：2010-08-04 02:56:04
【问题描述】：

就速度、内存、cpu 而言，哪个库/模块最适合用于下载 500mb 以上的大型文件？我也在考虑使用 pycurl。

【问题讨论】：

类似问题：stackoverflow.com/questions/1517616/…
谢谢，看来我得在 mechanize 和 pycurl 之间做出选择
...或“两者都不是”，如果您喜欢我为该问题选择的答案；-)。我相信它们中的任何一个都可以，但是它们主要是关于协商受保护的访问-它们无法加快您的下载速度！-)您可以尝试（直接或通过Twisted）将巨大的文件分成几部分，如果服务器支持这种访问（这就是下载管理器程序将为您做的事情，它可能比您要编写的任何代码都更好地优化和微调；-)。

【解决方案1】：

大小超过 500MB 时，必须担心数据完整性，而 HTTP 在设计时并未考虑到数据完整性。

我宁愿将 python 绑定用于 rsync（如果它们存在）甚至是最初在 python 中实现的 bittorrent。 rsync 和 bittorrent 都解决了数据完整性问题。

【讨论】：