这是什么编码/压缩算法？

Question

我正在尝试对二进制文件格式进行逆向工程，但它没有魔法字节，也没有特定的扩展名。我只能影响文件的一个方面：一个短字符串。通过尝试不同的字符串，我能够弄清楚数据是如何存储在文件中的。似乎整个文件使用了某种简单的编码。我希望找到确切的编码可以让我缩小对文件格式的搜索范围。我知道该文件是由用 C++ 编写的 Windows 程序生成的。

现在，经过多次反复试验，我发现文件的某些部分是在 runs 中编码的。每次运行都以一个字节开始，该字节指示后面有多少字节以及从何处检索数据。

• 000ddddd（1 个字节）
  从编码数据中取出以下 (ddddd)+1 个字节。
• 111····· ···ddddd ···bbbbb（3 个字节）
  在解码后的数据中返回 (bbbbb)+1 个字节，并从中取出下一个 (ddddd)+9 个字节。
• ddd····· ··bbbbbb（2 个字节）
  在解码后的数据中返回 (bbbbbb)+1 个字节，并从中取出下一个 (ddd)+2 个字节。

这是一个例子：

这是文件的开头，其中编码了 UTF-16 字符串 abracadabra：

  .     .  .  a  .  b  .  r     .  .  c     .  .  d     .  €  .
  0C 20 03 04 61 00 62 00 72 20 05 00 63 20 03 00 64 20 03 80 0D

解码字符串：

  0C                      number of Unicode chars: 12 (11 chars + \0)
  20 03       . . .       ??
  04                      next 5
  61 00       a .
  62 00       b .
  72          r
  20 05       . a .       back 6, take 3
  00                      next 1
  63          c
  20 03       . a .       back 4, take 3
  00                      next 1
  64          d
  20 03       . a .       back 4, take 3
  80 0D       b . r . a . back 14, take 6

这会导致 (UTF-16)：

  a  .  b  .  r  .  a  .  c  .  a  .  d  .  a  .  b  .  r  .  a  .
  61 00 62 00 72 00 61 00 63 00 61 00 64 00 61 00 62 00 72 00 61 00

但是，对于这可能是什么编码/压缩算法，我没有线索。它看起来像是 LZ 的一些变体，不使用字典（如 LZ77），但到目前为止，我还没有找到任何与此描述匹配的算法。我也不确定整个文件是这样编码的，还是只是其中的一部分。

你知道这种编码吗？或者您对我可能会在文件中查找以识别编码的内容有任何提示吗？

Answer 1

在您编辑后，我认为它是LZF，与您的观察结果有以下不同：

• 已在您的示例中删除了魔术头和压缩与未压缩的指示（如果它嵌入在文件中，这并不奇怪）。
• 您将块长度作为一个字节，但它是两个字节和大端，所以前面的 0x00 是长度的一部分，仍然有效。

Answer 2

可能是 NTFS 压缩，即LZNT1。这个想法得到了平台和明显的 2 字节结构以及实际数据的字节对齐的支持。

以下元素特定于此算法。

块：压缩、未压缩或表示缓冲区结束的数据段。

块标头：压缩或未压缩数据块的标头。

标志字节：一个位标志，其位从低位读取到高位，指定随后数据元素的格式。例如，位 0 对应于第一个数据元素，位 1 对应于第二个数据元素，依此类推。如果设置了一个数据元素对应的位，则该元素是一个2字节的压缩字；否则，它是一个 1 字节的文字值。

标志组：标志字节后跟零个或多个数据元素，每个数据元素是单个文字字节或 2 字节压缩字。