如何grep包含一些二进制数据的文本文件？

Question

grep 返回

二进制文件 test.log 匹配

例如

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

我希望结果会显示 line1 和 line3（总共两行）。

是否可以使用tr将不可打印的数据转换为可读的数据，让grep再次工作？

Answer 1

grep -a

没有比这更简单的了。

Answer 2

一种方法是简单地将二进制文件视为文本，使用grep --text，但这很可能导致二进制信息被发送到您的终端。如果您正在运行解释输出流的终端（例如 VT/DEC 或许多其他终端），这并不是一个好主意。

或者，您可以使用以下命令通过tr 发送文件：

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

这会将小于空格字符（换行符除外）和大于 126 的任何字符更改为 . 字符，只留下可打印文件。

---

如果您希望将每个“非法”字符替换为不同的字符，您可以使用以下 C 程序，一个经典的标准输入过滤器：

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

这将为您提供{{NN}}，其中NN 是字符的十六进制代码。您可以简单地调整printf 以获得您想要的任何输出样式。

您可以在此处查看该程序的运行情况：

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Answer 3

您可以通过cat -v 运行数据文件，例如

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

然后可以进一步后处理以删除垃圾；这与您对使用tr 执行任务的查询最为相似。

-v 只是告诉cat 显示非打印字符。

Answer 4

您可以使用“字符串”从二进制文件中提取字符串，例如

strings binary.file | grep foo

Answer 5

您可以强制 grep 查看二进制文件：

grep --binary-files=text

您可能还想添加-o (--only-matching)，这样您就不会收到大量会破坏您的终端的二进制乱码。

Answer 6

从 Grep 2.21 开始，二进制文件为treated differently:

在搜索二进制数据时，grep 现在可以将非文本字节视为行 终结者。这可以显着提高性能。

所以现在发生的是对于二进制数据，所有非文本字节 （包括换行符）被视为行终止符。如果你想改变这个 行为，你可以：

• 使用--text。这将确保只有换行符是行终止符

• 使用--null-data。这将确保只有空字节是行终止符

Answer 7

grep -a 将强制 grep 从 grep 认为是二进制文件的文件中搜索和输出。 grep -a re test.log

Answer 8

正如 James Selvakumar 已经说过的，grep -a 可以解决问题。 -a 或 --text 强制 Grep 将输入流作为文本处理。 参见手册页http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

试试

cat test.log | grep -a somestring

Answer 9

你可以的

strings test.log | grep -i

这会将作为可读字符串的输出转换为 grep。

Answer 10

这是我在没有安装“strings”命令的系统中使用的

cat yourfilename | tr -cd "[:print:]"

这会一举打印文本并删除不可打印的字符，这与“cat -v 文件名”不同，后者需要一些后处理来删除不需要的内容。请注意，某些二进制数据可能是可打印的，因此您仍然会在好东西之间得到一些乱码。如果你可以使用字符串，我认为字符串也会消除这种乱码。

Answer 11

您也可以尝试Word Extractor 工具。 Word Extractor 可以与您计算机中的任何文件一起使用，以将包含人类文本/单词的字符串与二进制代码（exe 应用程序、DLL）分开。