扩展 Golang 的 http.Resp.Body 来处理大文件

Question

我有一个客户端应用程序，它将 http 响应的全部内容读入缓冲区并对其执行一些处理：

body, _ = ioutil.ReadAll(containerObject.Resp.Body)

问题在于该应用程序在嵌入式设备上运行，因此太大的响应会填满设备 RAM，导致 Ubuntu 终止该进程。

为了避免这种情况，如果文档太大，我会检查 content-length 标头并绕过处理。然而，一些服务器（我在看你，微软）在没有设置内容长度的情况下发送非常大的 html 响应并导致设备崩溃。

我能看到解决此问题的唯一方法是将响应正文读取到一定长度。如果达到此限制，则可以创建一个新的读取器，它首先流式传输内存缓冲区，然后继续从原始 Resp.Body 读取。理想情况下，我会将这个新读取器分配给 containerObject.Resp.Body，这样调用者就不会知道其中的区别。

我是 GoLang 的新手，不知道如何编写此代码。任何建议或替代解决方案将不胜感激。

编辑 1：调用者需要一个 Resp.Body 对象，因此解决方案需要与该接口兼容。

编辑 2：我无法解析文档的小块。要么处理整个文档，要么将其原封不动地传递给调用者，而不将其加载到内存中。

Answer 1

如果您需要读取响应正文的一部分，然后为其他调用者就地重构它，您可以使用io.MultiReader 和ioutil.NopCloser 的组合

resp, err := http.Get("http://google.com")
if err != nil {
    return err
}
defer resp.Body.Close()

part, err := ioutil.ReadAll(io.LimitReader(resp.Body, maxReadSize))
if err != nil {
    return err
}

// do something with part

// recombine the buffered part of the body with the rest of the stream
resp.Body = ioutil.NopCloser(io.MultiReader(bytes.NewReader(part), resp.Body))

// do something with the full Response.Body as an io.Reader

如果您不能 defer resp.Body.Close() 因为您打算在完整读取响应之前返回响应，则需要扩充替换正文，以便 Close() 方法适用于原始正文。与其将ioutil.NopCloser 用作io.ReadCloser，不如创建自己的引用正确方法调用的方法。

type readCloser struct {
    io.Closer
    io.Reader
}

resp.Body = readCloser{
    Closer: resp.Body,
    Reader: io.MultiReader(bytes.NewReader(part), resp.Body),
}