【问题标题】:Consistent hashing of a structure to 32 bit结构的一致散列到 32 位
【发布时间】:2013-02-19 04:09:50
【问题描述】:

我有一个结构,在 [1, 1000] 和字符串中有 3 个整数。

我需要用 32 位数字表示它,这样至少一个字段中不同的两个结构会产生不同的代码,而具有相同内容的结构会始终产生相同的代码。通常整数字段之一将以几个单位增加。这必然会产生不同的代码。

起初,我想将结构字段格式化为常量格式的字符串,然后使用 String 类的 GetHashCode 函数对其进行哈希处理。但是后来我在一些讨论中读到,在相同输入上运行的重复过程不一定会产生相同的哈希输出。首先,在 .NET 4 中这是真的吗?这对我很重要,因为哈希值应该被持久化并在进程运行中保持一致。 我还在这里看到了使用素数对应用于每个结构字段的平台 GetHashCode 的结果执行按位运算的建议。但是在这里,显然我不能指望进程运行的一致结果。

如果我使用加密哈希函数,我会超过 32 位。

如果我没有字符串字段,我会将代码组合为来自数字字段的 32 位数组。可能值得用字符串字段 GetHashCode 结果对这样的位数组进行异或吗?我是否会增加在某些输入上重复运行会产生相同哈希输出的机会?

你会建议做什么?

【问题讨论】:

  • 如果你想避免冲突,你需要一个完美的哈希。你能用 32 位唯一地描述你的每个结构吗?此外,您无法保证内置哈希函数的稳定性(您也不应该)。那么你用这个“哈希”做什么呢?
  • @sixlettervariables 一个完美的哈希需要预先知道整个值空间,对吧? (并且它包含少于 2**32 个元素。)
  • @user2132086:所有四个字段都是结构“标识”的一部分,还是其中一个或多个只是“属性”(借用数据库术语)?
  • @PieterGeerkens 是的,所有字段一起组合键

标签: .net hash


【解决方案1】:

如果您有以下情况:

struct 
{
    int A;
    int B;
    int C;
}

假设 A、B、C 在[1, 1000] 范围内。可以创建“完美哈希”(没有冲突),因为 A、B、C 可以有 1000 个不同的可能值。实际上,log2(1000^3) <= 32(1000^3 是结构的可能值的数量,log2 用于获取存储所有这些值而不会发生冲突所需的位数,32 是结构的位数整数)。

int MyHashCode()
{
    return 1000 * (1000 * (A - 1) + (B - 1)) + (C - 1);  // There is no overflow or collision since A, B, C are in the range [1, 1000]
}

我们可以通过使用更弱的条件来简化它:A、B、C 在 [0, 1000] 范围内:

int MyHashCode()
{
    return 1001 * (1001 * A + B) + C;  // There is no overflow or collision since A, B, C are in the range [0, 1000]
}

更新

鉴于您的结构中包含一个字符串。你想要达到的目标是不可能的。因为字符串可以表示无数个值。

如果可以的话,可以创建一个非常强大的压缩算法。这可以将任何文件存储到... 32 位数字中!从数学上讲,这是因为单射函数只能映射到更大的空间。

【讨论】:

  • 鉴于有超过 2**32 个可能的文件,这样的压缩算法可证明不存在;)(好吧,从技术上讲,压缩算法可以,只要你永远不需要解压算法。)
  • @millimoose 你是对的!让我们创建最强大的压缩算法:x => 0.
  • @CédricBignon 我的字符串字段代表一个机器名称,所以可以做一些假设,例如长度限制,但我看不出这有什么帮助:-)
  • @user2132086 除非字符串最多可以有 4 个不同的值,否则您无法在 32 位上对此进行完美的哈希处理。 (为什么是 4?因为 2^32/1000^3 = 4.29...)
【解决方案2】:

匿名类型具有自动生成的合理GetHashCode() 实现。我会尝试使用:

struct MyStruct 
{
    int _intField1;
    int _intField2;
    int _intField3;
    string _stringField;

    public long GetHashCode() 
    {
        return new { _intField1, _intField2, _intField3, _stringField }.GetHashCode();
    }
}

由于ints 和strings 都是不可变类型,因此只要底层 .NET 框架版本相同,哈希码在应用程序运行之间应该保持相同。 (这可能会或可能不会“足够持久”。)

也就是说,如果GetHashCode() 的内部实现发生变化,它可能会发生变化。在这种情况下,请使用加密哈希。它超过 32 位并不重要,因为加密哈希旨在为输入的微小变化产生截然不同的输出。这意味着对于两个不同的输入,any 给定的 32 位哈希码不太可能相等。只需使用BitConverter.ToInt32() 将您想要的散列部分转换为int。

另外,很明显,这只会使两种不同的结构不太可能产生不同的哈希码。 (这可以使用生日悖论的近似公式来确定,如果我正确阅读 wiki,这意味着一旦您存储 ~140,000 ~30,000 条记录,您将有 10% 的机会获得重复. 假设加密哈希具有理想的属性。我不确定如果没有完美的哈希你能做得更好。)

【讨论】:

  • @millimoose 如果我使用 MD5Cng(我认为它应该更快),我可以假设它们中的任何 32 位(我还不知道 MD5Cng 的通常结果有多大)是唯一的?
  • @user2132086 在防止冲突方面,较新的哈希(如 SHA256)应该会更好,但通常是的。 Wiki 告诉我这个属性被称为avalanche effect,这是密码学研究人员刻意尝试实现的东西。基本思想是给定消息的哈希码应该看起来好像是随机确定的。现在显然,如果您从有限的价值空间中进行随机选择,您可能会发生碰撞,但您可以估计给定数量的选择的概率。
  • @sixlettervariables 我还没有太多证据可以证明这一点,但我强烈怀疑匿名类型,特别是使用GetHashCode() 的默认实现。他们当然会自动生成Equals() 的“正常”实现,这意味着他们还应该自动生成GetHashCode() 的类似实现,该实现主要适用于字段的哈希码(在这种情况下都是 value 类型)。我敢打赌甜甜圈的价值至少在 .NET 框架版本的生命周期内是稳定的。
  • @sixlettervariables 查看匿名类型的反编译源代码,在其GetHashCode() 实现中使用的所有内容都是一堆编译时常量,EqualityComparer<T>.Default.GetHashCode() 用于大多数看起来的字段委托给字段值的GetHashCode()。
【解决方案3】:
  1. 将类型序列化为字节[]
  2. 对byte[]应用常用的hash算法得到hash byte[]
  3. 例如,提取哈希字节[] 的前 32 位并使用它

【讨论】:

  • 如果我使用 MD5Cng(我认为它应该更快),我可以假设它们的前 32 位(我还不知道 MD5Cng 的通常结果有多大)是唯一的吗?
  • 你可以“有点”假设它们是独一无二的。如果您将大于 32 位的对象映射到 32 位哈希码,根据所谓的鸽巢原理,总会有一些两个对象具有相同的哈希码。不过,遇到它们的概率非常低。
  • @TimothyShields 至少发生一次冲突的概率会随着您要散列的对象数量而迅速增加。
  • @millimoose 我非常清楚这一点。最初提出的问题本质上是“我如何确定地将我的自定义类型散列为 32 位散列码?”如果问题是“我可以使用 32 位哈希码来唯一标识我的对象吗”,那么答案肯定是“不!” (见preshing.com/wp-content/uploads/2011/05/small-probabilities.png)
  • @TimothyShields 嗯,该图表意味着我对 Wiki 上的反向生日悖论示例的理解非常错误,并且 32 位哈希在“足够独特”方面完全没有用
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2010-10-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-01-28
  • 2021-06-03
相关资源
最近更新 更多