python中的快速、大宽度、非加密字符串散列答案

【问题标题】：fast, large-width, non-cryptographic string hashing in pythonpython中的快速、大宽度、非加密字符串散列
【发布时间】：2011-07-20 23:50:10
【问题描述】：

我需要 python 中的高性能字符串散列函数，它可以生成具有至少 34 位输出的整数（64 位是有意义的，但 32 位太少了）。 Stack Overflow 上还有其他几个类似这样的问题，但在我能找到的每个接受/赞成的答案中，我都属于不适用的几个类别之一（由于给定的原因）。

使用内置的 hash() 函数。 这个函数，至少在我正在开发的机器上（使用 python 2.7 和 64 位 cpu）产生一个适合 32 位的整数- 对我的目的来说不够大。
使用 hashlib。 hashlib 提供加密哈希例程，它远慢于非加密目的所需的速度。我认为这是不言而喻的，但如果您需要基准和引用来说服您相信这一事实，那么我可以提供。
使用string.__hash__() 函数作为原型来编写你自己的函数。 我怀疑这将是正确的方法，除了这个特定函数的效率在于它使用 c_mul 函数，它包装大约 32 位 - 对我来说太小了！非常令人沮丧，它是如此接近完美！

理想的解决方案应具有以下属性，按相对松散的重要性顺序排列。

输出范围至少延长 34 位，可能是 64 位，同时在所有位上保留一致雪崩属性。（连接 32 位哈希往往会违反雪崩属性，至少在我的愚蠢示例中是这样。）
便携。给定两台不同机器上的相同输入字符串，我两次都应该得到相同的结果。这些值将存储在一个文件中以供以后重复使用。
高性能。越快越好，因为在我正在运行的程序执行期间，这个函数将被调用大约 200 亿次（目前它是性能关键代码。）它不需要用 C 编写，它真的只需要优于 md5（在字符串的内置 hash() 领域中的某个地方）。
接受一个“扰动”（这里用什么更好的词？）整数作为输入来修改输出。我在下面举了一个例子（列表格式规则不允许我把它放在更近的地方。）我想这不是 100% 必要的，因为它可以通过手动扰动函数的输出来模拟，但是把它作为输入给了我好温暖的感觉。
完全用 Python 编写。如果绝对，肯定需要用 C 编写，那么我想这可以做到，但我会用 python 编写的函数比 C 中更快的函数慢 20%，这只是由于项目使用两种不同语言的协调性头痛。是的，这是一种逃避，但这是一个愿望清单。

“扰动”哈希示例，其中哈希值被一个小整数值 n 急剧改变

def perturb_hash(key,n):
    return hash((key,n))

最后，如果您对我到底在做什么感到好奇，我需要这样一个特定的哈希函数，我正在对 pybloom 模块进行完全重写，以显着提高其性能。我成功了（现在它的运行速度提高了大约 4 倍，并使用了大约 50% 的空间），但我注意到有时如果过滤器变得足够大，它的误报率会突然飙升。我意识到这是因为哈希函数没有解决足够的位。 32 位只能处理 40 亿位（请注意，过滤器处理的是位而不是字节），而我用于基因组数据的一些过滤器会增加一倍或更多（因此最少 34 位。）

谢谢！

【问题讨论】：

hash(s) * 2**32 + hash(s+s)有什么问题吗？如果hash 是“足够好”，那就是“足够好”，不是吗？假设hash(s+s) 与hash(s) 没有明显的关系，那么你会在所有输出位上得到雪崩。如果由于内存分配不够快，您可以在 C 中编写代码以将哈希算法有效地应用于 s+s，但无需实际执行字符串连接。
也就是说，散列

标签： python string hash high-speed-computing

【解决方案1】：

看看128-bit variant of MurmurHash3。 algorithm's page 包含一些性能数据。应该可以将其移植到 Python，纯或作为 C 扩展。（已更新作者建议使用 128 位变体并丢弃不需要的位）。

如果 MurmurHash2 64 位适合您，pyfasthash package 中有一个 Python 实现（C 扩展），其中包括一些其他非加密哈希变体，尽管其中一些仅提供 32 位输出。

更新我为 Murmur3 散列函数做了一个快速的 Python 包装器。 Github project is here，您可以在 Python Package Index as well 上找到它；它只需要一个 C++ 编译器来构建；无需升压。

使用示例及时序对比：

import murmur3
import timeit

# without seed
print murmur3.murmur3_x86_64('samplebias')
# with seed value
print murmur3.murmur3_x86_64('samplebias', 123)

# timing comparison with str __hash__
t = timeit.Timer("murmur3.murmur3_x86_64('hello')", "import murmur3")
print 'murmur3:', t.timeit()

t = timeit.Timer("str.__hash__('hello')")
print 'str.__hash__:', t.timeit()

输出：

15662901497824584782
7997834649920664675
murmur3: 0.264422178268
str.__hash__: 0.219163894653

【讨论】：

你知道我看过这个模块，但由于缺少 C++ python_boost 库（或者它是 boost_python？）而无法编译它。我再看看它。我会告诉你进展如何 - 谢谢！
是的，它需要 Boost Python。在 Ubuntu 上，可以使用 sudo apt-get install libboost-python-dev 安装它。我以package in my PPA 为例。
不幸的是，Ubuntu 的包管理系统仍然使用 python 2.6，所以我不得不在旁边安装 2.7。我可能非常密集，但看起来 Boost Python 的手动安装非常困难。有什么建议吗？
是的，我还对 Boost-wrapper murmur2 进行了性能测试，发现它缺乏，所以我围绕 murmur3 创建了自己的包装器。检查上面的更新。这应该让你继续前进。 :-)
在我的个人用例中，我总是指定一个“种子”值（别名为我在原始问题中提到的“扰动”值），用 C++ 实现的 murmur3 优于 python 的哈希（（关键，n)) 超过 10%。这绝对是要走的路。非常感谢！

【解决方案2】：

使用内置的 hash() 函数。这个功能，至少在我正在开发的机器上（使用 python 2.7 和 64 位 cpu）产生一个适合 32 位的整数 - 不够大我的目的。

那不是真的。内置哈希函数会在 64 位系统上生成 64 位哈希。

这是来自Objects/stringobject.c（Python 2.7 版）的 python str 哈希函数：

static long
string_hash(PyStringObject *a)
{
    register Py_ssize_t len;
    register unsigned char *p;
    register long x;      /* Notice the 64-bit hash, at least on a 64-bit system */

    if (a->ob_shash != -1)
    return a->ob_shash;
    len = Py_SIZE(a);
    p = (unsigned char *) a->ob_sval;
    x = *p << 7;
    while (--len >= 0)
        x = (1000003*x) ^ *p++;
    x ^= Py_SIZE(a);
    if (x == -1)
        x = -2;
    a->ob_shash = x;
    return x;
}

【讨论】：

内置 hash() 函数的另一个问题是 Python 3.3 中的哈希随机化。如果布隆过滤器需要能够写入磁盘，那么就不能使用内置的hash()函数。
此外，在 Heroku 和 GAE 等云平台上的 python 实现将在不同的实例上为 hash() 返回不同的值，这使得它对于必须在两个或多个“机器”之间共享的任何东西都无用（dynos in heroku 的情况）

【解决方案3】：

小心使用内置哈希函数！

从 Python3 开始，每次解释器启动时都会输入不同的种子（我不知道更多细节），因此它每次都会生成不同的值——但不是原生数字类型。

$ python3 -c 'print(hash("Hello!"), hash(3.14))'
-1756730906053498061 322818021289917443
$ python3 -c 'print(hash("Hello!"), hash(3.14))'
-4556027264747844925 322818021289917443
$ python3 -c 'print(hash("Hello!"), hash(3.14))'
-4403217265550417031 322818021289917443

【讨论】：

正确。在初始化哈希函数之前，您必须在 env 中正确设置 PYTHONHASHSEED。

【解决方案4】：

“strings”：我假设您希望散列 Python 2.x str 对象和/或 Python3.x bytes 和/或 bytearray 对象。

这可能违反您的第一个约束，但是：考虑使用类似

(zlib.adler32(strg, perturber) << N) ^ hash(strg)

获取 (32+N) 位哈希。

【讨论】：

你的假设是正确的，我正在散列 str 对象 - 我会调查这个 sn-p，谢谢，但你是对的，我个人怀疑是否存在一致这里的每个输出位的熵。不过谢谢！

【解决方案5】：

如果您可以使用 Python 3.2，则 64 位 Windows 上的哈希结果现在是 64 位值。

【讨论】：

我一直在使用 Python 2.7，但如果 3.x 引擎中的散列宽度肯定、始终更宽，那么这可能足以让我切换。谢谢！
@eblume：64 位 Windows 上的 64 位哈希是 3.2 中的增强。 64 位 Linux 平台始终具有 64 位哈希值。 32 位版本的 Python（Linux 和 Windows）只有 32 位哈希值。

【解决方案6】：

看看xxHash，还有pip package。

xxHash 是一种极快的哈希算法，在 RAM 速度限制下运行。它成功完成了评估哈希函数的碰撞、分散和随机性质量的 SMHasher 测试套件。代码具有高度可移植性，并且哈希值在所有平台上都是相同的（小/大端）。

我已经使用 xxHash 很长时间了（我的典型用例是对字符串进行哈希处理——不是出于安全目的），我对性能非常满意。

【讨论】：