帮助对二进制文件格式进行逆向工程的工具答案

【问题标题】：Tools to help reverse engineer binary file formats帮助对二进制文件格式进行逆向工程的工具
【发布时间】：2010-10-04 07:30:38
【问题描述】：

有哪些工具可以帮助解码未知的二进制数据格式？

我知道 Hex Workshop 和 010 Editor 都支持结构。对于已知的固定格式，这些在有限的范围内是可以的，但对于更复杂的东西很难使用，尤其是对于未知格式。我想我正在寻找脚本语言的模块或可编写脚本的 GUI 工具。

例如，我希望能够从有限的已知信息（也许是一个幻数）中找到一个数据块中的结构。一旦我找到了一个结构，然后按照已知的长度和偏移量词来找到其他结构。然后在有意义的地方递归和迭代地重复此操作。

在我的梦想中，甚至可能会根据我已经告诉系统的内容自动识别可能的偏移和长度！

【问题讨论】：

不能直接回答您的问题：您是否没有可处理这些未知格式的二进制文件的可执行文件？使用诸如 OllyDbg 之类的 ring3 调试器进行逆向工程，这比尝试暴力破解文件格式要容易得多。
哦，是的，我应该添加到“您曾经想编写哪个程序但一直没有时间去做”问题的应用程序之一；）
在某些情况下，我确实有在一定程度上处理它们的可执行文件。有时这些文件是可执行代码（但不是标准格式）并且很可能包含它们自己的解码例程。我们可能将有限的部分文档碎片作为起点。在其他情况下，我什么都没有。

标签： binary reverse-engineering file-format binary-data

【解决方案1】：

下面是一些我想到的提示：

根据我的经验，交互式脚本语言（我使用 Python）可以提供很大帮助。你可以编写一个简单的框架来处理二进制流和一些简单的算法。然后你可以编写脚本来获取你的二进制文件并检查各种事情。例如：

对各个部分做一些统计分析。例如，随机数据会告诉您这部分可能已被压缩/加密。零可能意味着部件之间的填充。零散的零可能意味着整数值或 Unicode 字符串等等。尝试发现各种偏移。尝试将部分二进制文件转换为 2 或 4 字节整数或浮点数，打印它们并查看它们是否有意义。编写一些函数来搜索数据中重复或非常相似的部分，这样您就可以轻松找到标题。

尝试找到尽可能多的字符串，尝试不同的编码（c 字符串、pascal 字符串、utf8/16 等）。有一些很好的工具（我认为 Hex Workshop 有这样的工具）。字符串可以告诉你很多。

祝你好运！

【讨论】：

Hachoir 来自下面的答案正是这种框架。它带有一组预定义的字段：不同类型的字符串、日期、位、浮点数、填充等。内置解析器可以与文档一起用作示例。

【解决方案2】：

对于 Mac OS X，有一个比我的 iBored 更好的工具：Synalyze It！ (http://www.synalysis.net/)

与iBored 相比，它更适合非阻塞文件，同时还可以完全控制结构，包括可编写脚本（使用 Lua）。它还可以更好地可视化结构。

【讨论】：

【解决方案3】：

图普尼;据我所知，微软研究院没有直接提供，但是有一篇关于这个工具的论文可能会引起想要编写类似程序（可能是开源）的人的兴趣：

Tupni: Automatic Reverse Engineering of Input Formats (@ ACM digital library)

摘要

最近的工作已经确立了自动反向的重要性协议或文件格式规范的工程。然而以前的工具逆向工程的格式错过了重要的对安全应用至关重要的信息。在这在论文中，我们介绍了 Tupni，一种可以对输入进行逆向工程的工具具有丰富信息的格式，包括记录序列，记录类型和输入约束。 Tupni 可以概括格式在多个输入规范。我们实施了一个 Tupni 的原型，并在 10 种不同的格式上对其进行了评估：五种文件格式（WMF、BMP、JPG、PNG 和 TIF）和五种网络协议（DNS、RPC、TFTP、HTTP 和 FTP）。图普尼确定了所有在测试输入中记录序列。我们还表明，通过聚合通过多个 WMF 文件，Tupni 可以导出更完整的 WMF 的格式规范。此外，我们证明了通过使用它为 zeroday 提供的丰富信息来使用 Tupni 漏洞签名生成，这是不可能的以前的逆向工程工具。

【讨论】：

论文链接：research.microsoft.com/en-us/um/people/wdcui/papers/…

【解决方案4】：

我最近发布的我自己的工具“iBored”可以完成部分工作。我编写了可视化和调试文件系统格式（UDF、HFS、ISO9660、FAT 等）的工具，并实现了搜索、复制以及后来的结构和模板支持。结构支持非常简单，模板是一种动态识别结构的方法。

整个事情都可以用 Visual BASIC 方言进行编程，允许您测试值、读取特定块等等。

该工具是免费的，适用于所有平台（Win、Mac、Linux），但由于它是我刚刚向公众发布以共享它的个人工具，因此没有太多文档记录。

但是，如果您想尝试一下，并希望提供反馈，我可能会添加更多有用的功能。

我什至会开源它，但正如REALbasic 所写，我怀疑很多人会加入这样的项目。

链接：iBored home page

【讨论】：

听上去是一个非常适合加入的好项目……当我作为防病毒研究人员工作时，这会非常方便。相反，我都是手工完成的……我要下载它，然后检查一下。谢谢你，我有它的用处。 :)
看起来像是一个不错的二进制文件分析工具的开始，但仍然非常以磁盘为中心（512 字节块有点放弃......）
@SteveBennett：它喜欢将文件聚集成大小相等的块，这是真的，但可以通过菜单轻松更改块大小。而且 iBored 还可以将整个文件作为一个块来处理。唯一的缺点是它在处理大文件时会遇到问题，因为它会尝试在单个可滚动块视图中显示所有数据，然后作为一个块显示，这可能会导致性能问题。

【解决方案5】：

我仍然偶尔使用一个旧的十六进制编辑器，称为 A.X.E.，高级十六进制编辑器。它现在似乎已经从互联网上基本消失了，尽管谷歌应该仍然可以为你找到它。我知道的最后一个版本是 3.4 版，但我实际上只使用了免费供个人使用的 2.1 版。

它最有趣的功能，也是我最常用于破译各种游戏和图形格式的功能，是它的图形视图模式。这基本上只是向您展示了每个字节都变成了颜色编码像素的文件。听起来很简单，但它有时让我的逆向工程尝试变得容易得多。

不过，我认为通过肉眼进行分析与进行自动分析完全相反，而且图形模式在查找和跟踪偏移方面没有多大用处...

后来的版本有一些听起来可以满足你需求的功能（脚本、规律查找器、语法生成器），但我不知道它们有多好。

【讨论】：

网址已死，也许现在在这里：advanced-hex-editor-a-x-e.en.softonic.com
@Steve 感谢您的提醒。就是那个。尽管那里有所有无病毒的承诺，但我的病毒扫描程序给了我一个病毒警告，试图下载它，所以我没有打扰。我已经改写了我的答案。

【解决方案6】：

Hachoir 是一个 Python 库，用于将任何二进制格式解析为字段，然后浏览字段。它有很多常见格式的解析器，但您也可以为您的文件编写自己的解析器（例如，当使用读取或写入二进制文件的代码时，我通常首先编写一个 Hachoir 解析器以帮助调试）。不过，看起来该项目现在几乎处于非活动状态。

【讨论】：

（链接已损坏）

【解决方案7】：

我的项目icebuddha.com支持这个使用python来描述浏览器中的格式。

【讨论】：

【解决方案8】：

Kaitai 是一种用于描述数据流中二进制结构的开源语言。它带有一个翻译器，可以输出许多编程语言的解析代码，以包含在您自己的程序代码中。

【讨论】：

【解决方案9】：

我对类似问题的回答的剪切粘贴：

一个工具是WinOLS，它设计用于解释和编辑车辆发动机管理计算机二进制图像（主要是查找表中的数字数据）。它支持各种 endian 格式（虽然我认为不是 PDP），并以各种宽度和偏移量查看数据，定义数组区域（地图）并使用各种缩放和偏移选项以 2D 或 3D 可视化它们。它还具有启发式/统计自动地图查找器，可能对您有用。

这是一个商业工具，但免费的演示可以让您做所有事情，除了保存对二进制文件的更改并使用您不需要的引擎管理功能。

【讨论】：