gzip压缩分块编码响应？

Question

我正在尝试让我的网络服务器正确地 gzip 一个块编码的 http 响应。

我对非 gzip 响应的理解是它看起来像这样：

<the response headers>

然后对于每个块，

<chunk length in hex>\r\n<chunk>\r\n

最后是一个零长度的块：

0\r\n\r\n

我试图让 gzip 压缩工作，我可以使用一些帮助来确定实际应该返回什么。该文档暗示应该压缩整个响应，而不是压缩每个块：

HTTP servers sometimes use compression (gzip) or deflate methods to optimize transmission.
Chunked transfer encoding can be used to delimit parts of the compressed object.
In this case the chunks are not individually compressed. Instead, the complete payload 
is compressed and the output of the compression process is chunk encoded.

我尝试对整个内容进行 gzip 压缩并返回响应，即使没有分块，但它不起作用。我尝试将 Content-Encoding 标头设置为“gzip”。有人可以解释必须对上述方案进行哪些更改以支持块的 gzip 压缩吗？谢谢。

Answer 1

如果其他答案不够清楚：

首先，您使用 zlib 压缩正文（这可以在流中完成，因此您不需要一次将整个内容存储在内存中，这就是分块的重点）。

然后你以块的形式发送压缩体（可能是由 gzip 流提供的，用块头来声明它的长度），带有 Content-Encoding: gzip 和 Transfer-Encoding: chunked headers（并且没有内容长度标头）。

如果您使用 gzip 或 zcat 或一些此类实用程序进行压缩，它可能无法正常工作。需要是zlib。如果您正在创建块然后压缩它们，那肯定是行不通的。如果您认为自己做对了，但它不起作用，您可以尝试进行数据包跟踪，并根据该信息和收到的任何错误消息提出问题。

Answer 2

您 gzip 内容，然后才应用分块编码：

“由于“分块”是 HTTP/1.1 接收者需要理解的唯一传输编码，它在分隔持久连接上的消息方面起着至关重要的作用。每当将传输编码应用于有效负载主体时请求，应用的最终传输编码必须是“分块”的。如果将传输编码应用于响应有效负载主体，那么应用的最终传输编码必须是“分块”，或者必须通过关闭连接来终止消息. 当使用“分块”传输编码时，它必须是用于形成消息体的最后一个传输编码。“分块”传输编码不得在消息体中多次应用。"

(HTTPbis Part1, Section 6.2.1)

Answer 3

您可能并未真正发送经过适当压缩的响应。

尝试在 zlib 中将 window bits 设置为 31。并使用deflateInit2()。