计算 MD5 哈希是否比 SHA 系列函数占用更少的 CPU 资源？答案

【问题标题】：Is calculating an MD5 hash less CPU intensive than SHA family functions?计算 MD5 哈希是否比 SHA 系列函数占用更少的 CPU 资源？
【发布时间】：2011-02-12 22:56:57
【问题描述】：

在“标准”笔记本电脑 x86 硬件上计算 MD5 散列的 CPU 强度是否低于 SHA-1 或 SHA-2？我对一般信息感兴趣，而不是特定于某个芯片。

更新： 就我而言，我对计算文件的哈希感兴趣。如果文件大小很重要，我们假设它是 300K。

【问题讨论】：

这不是你的问题的答案，但是Skein的支持者提出了它的速度，它肯定不弱于此时的报废MD5。在您必须散列的消息非常短的情况下，速度可能是加密散列函数的劣势（具体而言，其他人可以实现它的速度，而不是它在您的笔记本电脑上运行的速度）。 schneier.com/skein1.2.pdf
@Pascal：不过，Skein 并不是 SHA-3 候选算法中最快的，尤其是在 32 位平台上。在 64 位 x86 上，Skein 达到约 300 MB/s（Skein-512 比 Skein-256 稍快一些），这与 SHA-1 相当，但在 32 位模式下，性能下降到不到 60 MB/ s，比 SHA-256 慢两倍。另一方面，SHABAL，另一个 SHA-3 候选者，在 32 位和 64 位平台上都提供类似于 SHA-1 的性能。

标签： hash cryptography md5 sha1 sha2

【解决方案1】：

是的，MD5 的 CPU 密集度稍低。在我的 Intel x86（Core2 Quad Q6600，2.4 GHz，使用一个内核）上，我在 32 位模式下得到了这个：

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

这在 64 位模式下：

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

对于“长”消息（对于超过 8 kB 的消息，数字以兆字节/秒为单位）。这是sphlib，一个用C（和Java）实现的哈希函数库。所有实现都来自同一作者（我），并且在优化方面付出了相当的努力；因此速度差异可以被认为是函数所固有的。

作为一个比较点，考虑一下最近的硬盘将以大约 100 MB/s 的速度运行，而通过 USB 的任何设备都将低于 60 MB/s。尽管 SHA-256 在这里看起来“慢”，但对于大多数用途来说已经足够快了。

请注意，OpenSSL 包含 SHA-512 的 32 位实现，它比我的代码快得多（但不如 64 位 SHA-512 快），因为 OpenSSL 实现是在汇编中并使用 SSE2寄存器，这是纯 C 语言无法完成的。SHA-512 是这四个函数中唯一受益于 SSE2 实现的函数。

编辑： 在this page (archive) 上，可以找到有关许多哈希函数速度的报告（单击“Telechargez 维护者”链接）。报告是法文的，但大部分都是表格和数字，而且数字是国际化的。实现的哈希函数不包括 SHA-3 候选（SHABAL 除外），但我正在研究它。

【讨论】：

我认为您的基准测试没有用。基于等效但不完全优化的两种算法的速度比较是无关紧要的。在现实世界中，您不会推出自己的实现，而是使用完全优化的实现。应该比较这些结果。
@EdwardBrey 实际上这些已经非常接近于完全优化。事实上，他的 md5 实现比 OpenSSL 提供的要快得多，所以并不是每个实现都会像你所说的那样在“现实世界”中得到优化。此外，虽然这些并不完美（你是对的）恕我直言，但它们可以作为这个特定问题的完美答案。
我们能否获得有关现代 CPU 和现代算法实现的更新？您的答案至少曾经被用来证明继续使用 MD5 的合理性，在它被证明被破坏十五年后以及在现实世界中发生预映像攻击之后几年，将使用 MD5 作为摘要算法签名的恶意 PE 文件生成相同的摘要算法在原始签名中找到的准确摘要。所以签名被移植了。 MD5 和随后的 SHA-1 已被删除以进行签名。 OP 要求哈希，所以即使是 2010 年推动 MD5 也不是 IMO 的合理建议。

【解决方案2】：

在我的 2012 MacBook Air（Intel Core i5-3427U，2x 1.8 GHz，2.8 GHz Turbo）上，SHA-1 比 MD5 稍快（在 64 位模式下使用 OpenSSL）：

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

更新： 10 个月后，使用 OS X 10.9，SHA-1 在同一台机器上变慢了：

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

第二次更新：在 OS X 10.10 上，SHA-1 速度回到 10.8 级别：

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

第三次更新：带有 LibreSSL 的 OS X 10.14 速度要快得多（仍在同一台机器上）。 SHA-1 仍然名列前茅：

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k

【讨论】：

奇怪，我的空气和你的一样，我得到了相反的基准测试结果。 8192字节：md5 305549.52k； sha1 204668.57k
嗯，我在同一台机器上也得到了与去年不同的结果：md5 381756.70k，sha1 313881.86k。可能是因为升级到 10.9 (OpenSSL 0.9.8y)。
这是一个很好的答案。它表明你在乎。谢谢大佬分享

【解决方案3】：

作为spent a bit of time optimizing MD5 performance 的人，我想我会提供比此处提供的基准更多的技术解释，以供将来碰巧发现此问题的任何人使用。

MD5 比 SHA1 做的“工作”更少（例如压缩轮数更少），所以人们可能认为它应该更快。然而，MD5 算法主要是一个大的依赖链，这意味着它不能很好地利用现代超标量处理器（即每时钟指令数较低）。 SHA1 具有更多可用的并行性，因此尽管需要完成更多“计算工作”，但在现代超标量处理器上，它通常最终比 MD5 更快。
如果您在较旧的处理器或超标量“宽度”较小的处理器（例如基于 Silvermont 的 Atom CPU）上进行 MD5 与 SHA1 比较，您通常会发现 MD5 比 SHA1 快。

SHA2 和 SHA3 比 SHA1 的计算密集度更高，而且通常要慢得多。
然而，需要注意的一点是，一些新的 x86 和 ARM CPU 具有加速 SHA1 和 SHA256 的指令，如果正在使用这些指令，这显然对这些算法有很大帮助。

顺便说一句，SHA256 和 SHA512 的性能可能会表现出类似的奇怪行为。 SHA512 比 SHA256 做更多的“工作”，但两者之间的关键区别在于 SHA256 使用 32 位字进行操作，而 SHA512 使用 64 位字进行操作。因此，SHA512 在 64 位字长的平台上通常比 SHA256 快，因为它一次处理两倍的数据量。相反，SHA256 在 32 位字长的平台上应该优于 SHA512。

请注意，以上所有内容仅适用于单缓冲区散列（迄今为止最常见的用例）。如果您喜欢并行计算多个哈希，即多缓冲区 SIMD 方法，则行为会有所改变。

【讨论】：

【解决方案4】：

真正的答案是：视情况而定

有几个因素需要考虑，最明显的是：运行这些算法的 CPU 和算法的实现。

例如，我和我的朋友都运行完全相同的 openssl 版本，但使用不同的 Intel Core i7 cpu 得到的结果略有不同。

2021 年更新在 Ryzen 9 3900x 上运行 openssl speed sha1 md5：Sha1 现在比 md5 快 2-3 倍，并且随着数据大小的增加，差异也会增加

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
md5             171084.26k   373867.24k   660204.56k   783808.17k   840138.75k   843743.23k
sha1            309769.46k   772013.89k  1523885.48k  2017251.67k  2226836.82k  2251024.61k

结束更新

我使用 Intel(R) Core(TM) i7-2600 CPU @ 3.40GHz 进行的测试

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

还有他的 Intel(R) Core(TM) i7 CPU 920 @ 2.67GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

我们都在运行 ArchLinux 官方软件包中的 OpenSSL 1.0.1j 2014 年 10 月 15 日完全相同的二进制文件。

我对此的看法是，随着 sha1 增加的安全性，cpu 设计者更有可能提高 sha1 的速度，并且更多的程序员将致力于算法的优化而不是 md5sum。

我猜想有一天 md5 将不再被使用，因为它似乎比 sha1 没有优势。我还在真实文件上测试了一些情况，两种情况下的结果总是相同的（可能受到磁盘 I/O 的限制）。

4.6GB 大文件的 md5sum 与同一文件的 sha1sum 所用时间完全相同，许多小文件（同一目录中的 488 个）也是如此。我进行了十几次测试，它们始终得到相同的结果。

--

进一步调查这将是非常有趣的。我想周围有一些专家可以提供一个可靠的答案来解释为什么 sha1 在较新的处理器上比 md5 更快。

【讨论】：

您真的需要购买 SSD（和/或删除 McAfee）:)
@owlstead 该死的，当我尝试这个时，我忘了兜售关闭我的 Linux 机器的“慢模式”。
@Johnride，不要从文件中进行基准测试。从内存中的数据运行它，或者更简单，只需重新散列相同的值。
@Robino 这就是 openssl speed 所做的，这是第一个也是最有意义的基准测试。
不，它不依赖。请分享您的结果，您的 MD5 比 SHA 慢？两个函数都需要执行离散数量的操作，波动是 CPU 或实施启发式的结果

【解决方案5】：

MD5 也受益于 SSE2 的使用，查看 BarsWF 然后告诉我它没有。只需要一点汇编知识，您就可以制作自己的 MD5 SSE2 例程。但是，对于大量吞吐量，需要权衡哈希期间的速度，而不是重新排列输入数据以与所使用的 SIMD 指令兼容所花费的时间。

【讨论】：

乍一看并不清楚SSE2是用来加速一个 MD5线程还是配对几个并行的MD5线程；后者对于大多数算法来说当然很容易，但这并不能算作从 SSE2 中受益，因为通常需要的是单个数据流。

【解决方案6】：

sha1sum 在 Power9 上比 md5sum 快很多

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s

【讨论】：

【解决方案7】：

[
Is MD5 faster or SHA1? ]

It's implementation dependent:

|*|
[
Theoretically the MD5 algorithm would do less work than SHA1, but the design of MD5 itself determined that the algorithm cannot effectively exploit computation parallelism (i.e. cannot effectively utilize a multi-processor system; or processors that utilize instruction-level parallelism). While SHA1 would provide better opportunity for so.

This is part of the reason why in some implementations SHA1 would outperform MD5. ]

|*|
[
There are also processors that provide dedicated hardware acceleration support for SHA1.

When properly utilized, such implementations tend to easily outperform software based MD5 implementations:

[ Quote dr-js @ CE 2021-01-28 10:31 UTC:
https://security.stackexchange.com/a/95697

2021 update with OpenSSL 1.1.1d: now we see md5 is often slower on newer CPU, and for larger chunks:

[
## PC i7-1165G7 @ 2.80GHz (2020)
OpenSSL 1.1.1d  10 Sep 2019 / built on: Mon Dec  7 20:44:45 2020 UTC
type      16 bytes    64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
md5     189018.70k  418310.85k   712090.28k   890189.14k   956293.12k   962560.00k
sha1    287134.62k  746529.17k  1474064.38k  1973607.08k  2197842.60k  2192179.20k
sha256  222301.71k  603962.47k  1213340.33k  1665262.59k  1849016.32k  1847388.84k

## Server AMD EPYC 7571 (2018)
OpenSSL 1.1.1d  10 Sep 2019 / built on: Mon Dec  7 20:44:45 2020 UTC
type      16 bytes    64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
md5      93668.33k  213979.18k   378971.56k   467472.38k   501205.67k   504064.68k
sha1    165020.82k  442991.72k   888443.48k  1188591.62k  1319236.95k  1330080.43k
sha256  142886.55k  375612.63k   791567.70k  1095950.34k  1234381.48k  1246827.86k

## Server E5-2682 v4 @ 2.50GHz (2016)
OpenSSL 1.1.1d  10 Sep 2019 / built on: Mon Dec  7 20:44:45 2020 UTC
type      16 bytes    64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
md5     101505.24k  207422.92k   393158.83k   453332.99k   527085.34k   490711.72k
sha1     98091.83k  249828.79k   389640.36k   675694.25k   686966.33k   721021.61k
sha256   55421.86k  130103.33k   251929.17k   302571.86k   296977.81k   338439.56k
] ]

Worth noticing that even SHA-256 could be faster than MD5 in such cases. ]


To put it in a simple (though not so accurate) statement:

|*| For high-end processors, SHA1 tends to be faster.
|*| For low-end processors, MD5 would be faster.


[ Quote Nyan @ CE 2020-12-10 10:18 UTC:
https://stackoverflow.com/a/64928816

Note that all of the above only applies to single buffer hashing (by far the most common use case). If you're fancy and computing multiple hashes in parallel, i.e. a multi-buffer SIMD approach, the behaviour changes somewhat. ]

【讨论】：