如何在 Go 中解码 zlib 流？

Question

有什么问题？

我无法使用 go 的 zlib 包从 zlib 流中解码有效的压缩块。

我准备了一个 github 存储库，其中包含说明我遇到的问题的代码和数据：https://github.com/andreyst/zlib-issue。

这些块是什么？

它们是由文本游戏服务器 (MUD) 生成的消息。此游戏服务器以多个块发送压缩消息流，其中第一个包含 zlib 标头，其他不包含。

我使用名为“mcclient”的代理捕获了两个块（第一个和第二个），它是一个边车，为不支持压缩的 MUD 客户端提供压缩。它是用 C 语言编写的，使用 C zlib 库来解码压缩块。

块包含在“块”目录中，编号为0 和1。 *.in 文件包含压缩数据。 *.out 包含从 mcclient 捕获的未压缩数据。 *.log包含zlib解压状态（inflate调用的返回码）。

一个特殊的all.in块是块0与块1连接。

为什么我认为它们是有效的？

1. mcclient 使用 C 的 zlib 成功解压缩输入块，没有任何问题。 *.log 状态显示 0 表示 Z_OK 表示 zlib 用语中没有错误。
2. zlib-flate -uncompress < chunks/all.in 在 Linux 下工作没有任何错误，并且解压缩到相同的内容。在 Mac OS 下，它也会解压缩为相同的内容，但带有警告 zlib-flate: WARNING: zlib code -5, msg = input stream is complete but output may still be valid — 看起来与预期的一样，因为块不包含“官方”流结束。
3. decompress.py 中的 Python 代码可以正确解压缩 all.in 和 0/1 块，没有任何问题。

go 的 zlib 有什么问题？

参见main.go——它会尝试解压缩这些块，从all.in 开始，然后尝试逐步解压缩块0 和1。

尝试解码all.in (func all()) 有点成功，至少解压后的数据是一样的，但是zlib 读取器返回错误flate: corrupt input before offset 446。

在尝试逐块解压缩的实际场景 (func stream()) 时，zlib 读取器使用预期数据解码第一个块，但返回错误 flate: corrupt input before offset 32，随后尝试解码块 1 完全失败。

问题

是否可以在适合这种情况的某种“流”模式下使用 go 的 zlib 包？可能是我用错了？

如果没有，解决方法是什么？同样有趣的是，为什么会这样——这是设计使然吗？只是还没有实施吗？我错过了什么？

Answer 1

请注意，错误表示输入后偏移处的数据已损坏。那是因为您从文件中读取的方式：

    buf := make([]byte, 100000)
    n, readErr := f.Read(buf)
    if readErr != nil {
        log.Fatalf("readErr=%v\n", readErr)
    }
    fmt.Printf("Read bytes, n=%v\n", n)

    buffer := bytes.NewBuffer(buf)
    zlibReader, zlibErr := zlib.NewReader(buffer)
    if zlibErr != nil {
        log.Fatalf("zlibErr=%v\n", zlibErr)
    }

buf := make([]byte, 100000) 将创建一个 100000 字节的切片，所有字节均为 0。但在 all.in 的情况下，您只能读取 443 个字节。由于您从不缩短切片，因此阅读器将在有效数据之后遇到几千个零并断定它已损坏。这就是你得到输出和错误的原因。

关于流媒体。在 TCP/UDP 连接的情况下，您应该能够将io.Reader 的连接传递给zlib.NewReader。为了模拟相同，我在修改后的代码中使用了io.Pipe：

package main

import (
    "bytes"
    "compress/zlib"
    "fmt"
    "io"
    "log"
    "os"

    otherzlib "github.com/4kills/go-zlib"
)

func main() {
    all()
    stream()

    // Alas it hangs :(
    // otherZlib()
}

func all() {
    fmt.Println("==== RUNNING DECOMPRESSION OF all.in")
    fmt.Println("")

    buf, readErr := os.ReadFile("./chunks/all.in")
    if readErr != nil {
        log.Fatalf("readErr=%v\n", readErr)
    }
    fmt.Printf("Read bytes, n=%v\n", len(buf))

    buffer := bytes.NewBuffer(buf)
    zlibReader, zlibErr := zlib.NewReader(buffer)
    if zlibErr != nil {
        log.Fatalf("zlibErr=%v\n", zlibErr)
    }

    out := new(bytes.Buffer)
    written, copyErr := io.Copy(out, zlibReader)
    if copyErr != nil {
        log.Printf("copyErr=%v\n", copyErr)
    }
    fmt.Printf("Written bytes, n=%v, out:\n%v\n", written, out.String())
    fmt.Println("")
}

func stream() {
    fmt.Println("==== RUNNING DECOMPRESSION OF SEPARATE CHUNKS")
    fmt.Println("")

    pRead, pWrite := io.Pipe()
    go func() {
        buf, readErr := os.ReadFile("./chunks/0.in")
        if readErr != nil {
            log.Fatalf("readErr=%v\n", readErr)
        }
        fmt.Printf("Read 0 bytes, n=%v\n", len(buf))

        written0, copy0Err := io.Copy(pWrite, bytes.NewBuffer(buf))
        if copy0Err != nil {
            log.Printf("copy0Err=%v\n", copy0Err)
        }
        fmt.Printf("Written compressed bytes, n0=%v", written0)

        buf, readErr = os.ReadFile("./chunks/1.in")
        if readErr != nil {
            log.Fatalf("read1Err=%v\n", readErr)
        }
        fmt.Printf("Read 1 bytes, n=%v\n", len(buf))

        written1, copy1Err := io.Copy(pWrite, bytes.NewBuffer(buf))
        if copy1Err != nil {
            log.Printf("copy1Err=%v\n", copy1Err)
        }
        fmt.Printf("Written compressed bytes, n1=%v", written1)

        pWrite.Close()
    }()

    zlibReader, zlibErr := zlib.NewReader(pRead)
    if zlibErr != nil {
        log.Fatalf("zlibErr=%v\n", zlibErr)
    }

    out := new(bytes.Buffer)
    written2, copy2Err := io.Copy(out, zlibReader)
    if copy2Err != nil {
        log.Printf("copy2Err=%v\n", copy2Err)
    }
    fmt.Printf("Written decompressed bytes, n0=%v, out:\n%v\n", written2, out.String())

    fmt.Println("")
}

使用此代码，我没有收到来自 stream() 的错误，但我仍然收到来自 all() 的 copyErr=unexpected EOF 错误，看起来 all.in 最后缺少校验和数据，但我认为这只是一个意外.

Answer 2

通过仔细调试，我能够看到我错误地传递了太大的缓冲区切片，这导致输入缓冲区不正确。

另外，重要的是不要使用io.Copy，这会导致缓冲区出现EOF，从而停止一切，而只使用zlibReader.Read()，它将解压缩当前缓冲区中的所有内容。

我已经更新了代码，现在它可以按预期工作了。