如何限制 python3 请求中的下载速度？

Question

我正在使用请求在运行 Linux 的小型嵌入式设备上下载一个大 (~50MiB) 文件。

文件将写入附加的 MMC。

不幸的是，MMC 写入速度低于网络速度，我看到内存消耗增加，在某些情况下，我什至遇到内核“无法处理页面...”错误。

设备只有 128MiB RAM。

我使用的代码是：

            with requests.get(URL,  stream=True) as r:
                if r.status_code != 200:
                    log.error(f'??? download returned {r.status_code}')
                    return -(offset + r.status_code)
                siz = 0
                with open(sfn, 'wb') as fo:
                    for chunk in r.iter_content(chunk_size=4096):
                        fo.write(chunk)
                        siz += len(chunk)
                return siz

如何在写入 MMC 时暂时停止服务器？

Answer 1

如果网络服务器支持http Range field，您可以请求只下载大文件的一部分，然后逐步浏览整个文件。

查看this question，其中 James Mills 提供了以下示例代码：

from requests import get

url = "http://download.thinkbroadband.com/5MB.zip"
headers = {"Range": "bytes=0-100"}  # first 100 bytes

r = get(url, headers=headers)

由于您的问题是内存问题，您需要阻止服务器一次向您发送整个文件，因为这肯定会被您设备上的某些代码缓冲。除非您可以让请求删除它收到的部分数据，否则这将始终是一个问题。 requests 下游的额外缓冲区将无济于事。

Answer 2

                if r.status_code != 200:
                    log.error(f'??? download returned {r.status_code}')
                    return -(offset + r.status_code)
                siz = 0
                with open(sfn, 'wb') as fo:
                    for chunk in r.iter_content(chunk_size=4096):
                        fo.write(chunk)
                        siz += len(chunk)
                return siz

您可以将其重写为协程

import requests

def producer(URL,temp_data,n):
    with requests.get(URL,  stream=True) as r:
        if r.status_code != 200:
            log.error(f'??? download returned {r.status_code}')
            return -(offset + r.status_code)
        for chunk in r.iter_content(chunk_size=n):
            temp_data.append(chunk)
            yield #waiting to finish the consumer
            

def consumer(temp_data,fname):
    with open(fname, 'wb') as fo:
        while True:
            while len(temp_data) > 0:
                for data in temp_data:
                    fo.write(data)
                    temp_data.remove(data) # To remove it from the list
                    # You can add sleep here
                    yield #waiting for more data


def coordinator(URL,fname,n=4096):
    temp_data = list()
    c = consumer(temp_data,fname)
    p = producer(URL,temp_data,n)
    while True:
        try:
            #getting data
            next(p)
        except StopIteration:
            break
        finally:
            #writing data
            next(c)

这些都是您需要的功能。 调用它

URL = "URL"
fname = 'filename'
coordinator(URL,fname)

Answer 3

您可以尝试使用以下 bash 命令减小 TCP 接收缓冲区的大小：

echo 'net.core.rmem_max=1000000' >> /etc/sysctl.conf

（1 MB，你可以调整这个）

这将阻止在此过程的这个阶段建立巨大的缓冲区。

然后编写代码以仅从 TCP 堆栈读取并以指定的时间间隔写入 MMC，以防止缓冲区在系统的其他地方建立，例如 MMC 写入缓冲区——例如 @e3n 的答案。

希望这会导致数据包被丢弃，然后在缓冲区再次打开后由服务器重新发送。