在 unix 环境中最快的散列？

Question

我需要在 unix 平台上检查某个脚本的输出 1000 次，并检查其中是否有任何变化。

我一直在这样做：

(script_stuff) | md5sum

并存储此值。我实际上并不需要“md5”，只需要一个简单的哈希函数，我可以将它与存储的值进行比较，看看它是否改变了。如果偶尔出现误报也没关系。

有什么比 md5sum 更好的方法可以更快地生成一个相当可用的哈希值？脚本本身会生成几行文本 - 可能平均 10 到 20 行，最多 100 行左右。

我查看了fast md5sum on millions of strings in bash/ubuntu - 这很好，但我无法编译新程序。需要一个系统实用程序... :(

---

额外的“背景”细节：

我被要求监控一组 1000 个左右的域的 DNS 记录，如果有任何变化，立即调用某些其他脚本。我打算做一个 dig xyz +short 语句并将其输出散列并存储它，然后将其与先前存储的值进行检查。任何更改都会触发另一个脚本，否则它会继续。目前，我们计划将 cron 用于一组这 1000 个，但可以完全不同地考虑“严重”的使用 - 大约 20,000 个。

我不知道这样的系统有什么用，我只是为别人做这件事......

Answer 1

cksum 实用程序计算非加密 CRC 校验和。

Answer 2

您要检查的输出有多大？最多一百行。我只需保存整个原始文件，然后使用cmp 来查看它是否已更改。鉴于哈希计算无论如何都必须读取每个字节，从校验和类型计算中获得优势的唯一方法是这样做的成本低于读取该大小的两个文件。

而且cmp 不会给你任何误报或否定:-)

pax> echo hello >qq1.txt
pax> echo goodbye >qq2.txt
pax> cp qq1.txt qq3.txt
pax> cmp qq1.txt qq2.txt >/dev/null
pax> echo $?
1
pax> cmp qq1.txt qq3.txt >/dev/null
pax> echo $?
0

---

根据您的问题更新：

我被要求监控一组 1000 个左右的域的 DNS 记录，如果有任何更改，请立即调用某些其他脚本。我打算做一个 dig xyz +short 语句并将其输出散列并存储它，然后将其与先前存储的值进行检查。任何更改都会触发另一个脚本，否则它会继续。目前，我们计划将 cron 用于一组这 1000 个，但对于“严重”的使用情况完全不同 - 大约 20,000 个。

我不确定您是否需要过多地担心文件 I/O。以下脚本首先使用文件 I/O 执行 dig microsoft.com +short 5000 次，然后输出到 /dev/null（通过更改 cmets）。

#!/bin/bash
rm -rf qqtemp
mkdir qqtemp
((i = 0))
while [[ $i -ne 5000 ]] ; do
        #dig microsoft.com +short >qqtemp/microsoft.com.$i
        dig microsoft.com +short >/dev/null
        ((i = i + 1))
done

每次运行 5 次的经过时间为：

File I/O  |  /dev/null
----------+-----------
    3:09  |  1:52
    2:54  |  2:33
    2:43  |  3:04
    2:49  |  2:38
    2:33  |  3:08

去除异常值并取平均值后，文件 I/O 的结果为 2:49，/dev/null 的结果为 2:45。 5000 次迭代的时间差为 4 秒，每个项目仅 ¹/₁₂₅₀秒。

但是，由于超过 5000 次的迭代最多需要三分钟，这就是检测问题所需的最大时间（平均一分半钟）。如果这不可接受，您需要从 bash 转移到另一个工具。

鉴于单个dig 只需要大约 0.012 秒，假设您的检查工具根本不需要时间，理论上您应该在 60 秒内完成 5000 次。您最好在 Perl 中执行类似的操作并使用关联数组来存储来自 dig 的输出。

Perl 的半编译特性意味着它的运行速度可能比bash 脚本快得多，而 Perl 的奇思妙想将使这项工作变得容易得多。但是，您不太可能仅仅因为运行 dig 命令需要多长时间而将 60 秒的时间缩短很多。