【问题标题】:Best way to calculate a running hash for an unordered_map?为 unordered_map 计算运行哈希的最佳方法?
【发布时间】:2021-09-02 17:13:57
【问题描述】:

我有一个简单的 std::unordered_map 包装类,它会在添加或删除键值对时更新 unordered_map 内容的运行哈希码;这样我就不必遍历整个内容来获取集合的当前哈希码。它通过在添加新的键值对时添加到 _hash 成员变量,并在删除现有键值对时从 _hash 成员变量中减去来实现这一点。这一切都很好(但如果你想要我的意思的代码示例,请参阅下面的玩具实现)。

我唯一担心的是,从最小化哈希值冲突的可能性的角度来看,我怀疑简单地从 _hash 中添加和减去值可能不是最佳做法。是否有一种数学上更好的方法来计算表的运行哈希码,这仍然可以保留我从表中有效添加/删除项目的能力(即不强迫我遍历表以从头开始重建哈希码每次?)

#include <functional>
#include <unordered_map>
#include <string>
#include <iostream>

template<typename KeyType, typename ValueType> class UnorderedMapWithHashCode
{
public:
   UnorderedMapWithHashCode() : _hash(0) {/* empty */}

   void Clear() {_map.clear(); _hash = 0;}

   void Put(const KeyType & k, const ValueType & v)
   {
      Remove(k);  // to deduct any existing value from _hash
      _hash += GetHashValueForPair(k, v);
      _map[k] = v;
   }

   void Remove(const KeyType & k)
   {
      if (_map.count(k) > 0)
      {
         _hash -= GetHashValueForPair(k, _map[k]);
         _map.erase(k);
      }
   }

   const std::unordered_map<KeyType, ValueType> & GetContents() const {return _map;}

   std::size_t GetHashCode() const {return _hash;}

private:
   std::size_t GetHashValueForPair(const KeyType & k, const ValueType & v) const
   {
      return std::hash<KeyType>()(k) + std::hash<ValueType>()(v);
   }

   std::unordered_map<KeyType, ValueType> _map;
   std::size_t _hash;
};

int main(int, char **)
{
   UnorderedMapWithHashCode<std::string, int> map;
   std::cout << "A:  Hash is " << map.GetHashCode() << std::endl;

   map.Put("peanut butter", 5);
   std::cout << "B:  Hash is " << map.GetHashCode() << std::endl;

   map.Put("jelly", 25);
   std::cout << "C:  Hash is " << map.GetHashCode() << std::endl;

   map.Remove("peanut butter");
   std::cout << "D:  Hash is " << map.GetHashCode() << std::endl;

   map.Remove("jelly");
   std::cout << "E:  Hash is " << map.GetHashCode() << std::endl;

   return 0;
}

【问题讨论】:

  • 我有点好奇你为什么需要GetHashCode(),但这不是主题
  • 为什么要散列条目值?为什么不只是键?
  • 各种原因;一种是当我有多台计算机在更新后应该保持相同的数据结构时,它有助于检测同步错误。我可以随更新一起发送散列码值,任何本地表的GetHashCode() 返回值与网络消息中包含的不匹配的计算机都知道出现问题并可以记录错误效果。
  • @ThomasMatthews 我认为在这种情况下,循环在 std::hash&lt;&gt;() 函数内,所以超出了这个问题的范围?
  • 我想扩展@Thomas Matthews 的建议:我们选择一个带状态的哈希函数,例如xxHash,用于添加操作:我们使用+{serializedkey}{serializedvalue} 更新哈希值,用于删除操作:我们用-{serializedkey}{serializedvalue} 更新哈希值;对于GetHashCode,我们返回当前的哈希摘要值。

标签: c++ hash unordered-map


【解决方案1】:

您的概念非常好,只是实现可以改进:

  • 您可以将哈希函数用作模板参数,默认为相关的std::hash 实例化;请注意,对于数字来说,std::hash&lt;&gt; 是一个身份哈希是很常见的(GCC、Clang、Visual C++),这很容易发生冲突; GCC 和 Clang 通过使用质数的桶(与 Visual C++ 的 2 次幂选择)在一定程度上缓解了这种情况,但您需要避免不同的键、值条目在 size_t 哈希值空间中发生冲突,而不是在mod-bucket-count,所以最好使用有意义的哈希函数。类似地,Visual C++ 的 std::string 哈希仅包含沿字符串间隔的 10 个字符(因此它是恒定时间),但如果您的键和值都是相似的相同长度的长字符串,仅在几个字符上有所不同,这也很容易发生碰撞。 GCC 对字符串使用适当的哈希函数 - MURMUR32。

  • return std::hash&lt;KeyType&gt;()(k) + std::hash&lt;ValueType&gt;()(v); 通常是一个平庸的想法,在使用身份哈希函数时是一个糟糕的想法(例如h({k,v}) == k + v,所以h({4,2}) == h({2,4}) == h({1,5}) 等)

  • 考虑改用基于boost::hash_combine 的东西(假设您确实采用上述建议让模板参数提供散列函数:

     auto key_hash = KeyHashPolicy(key);
     return (key_hash ^ ValueHashPolicy(value)) +
            0x9e3779b9 + (key_hash << 6) + (key_hash >> 2);
    
  • 您可以通过避免不必要的哈希表查找来显着提高您的操作效率(您的 Put 执行 2-4 次表查找,Remove 执行 1-3 次):

    void Put(const KeyType& k, const ValueType& v)
    {
        auto it = _map.find(k);
        if (it == _map.end()) {
            _map[k] = v;
        } else {
            if (it->second == v) return;
            _hash -= GetHashValueForPair(k, it->second);
            it->second = v;
        }
        _hash += GetHashValueForPair(k, v);
    }
    
    void Remove(const KeyType& k)
    {
        auto it = _map.find(k);
        if (it == _map.end()) return;
        _hash -= GetHashValueForPair(k, it->second);
        _map.erase(it);
    }
    
    • 如果您想进一步优化,您可以创建一个返回HashKeyPolicy(key) 值的GetHashValueForPair 版本,并让您将其传入以避免在Put 中对密钥进行两次散列。

【讨论】:

  • 你的第二点和第三点对我来说特别有趣(其他点在我的真实/非玩具实现中已经基本上解决了)——我想用类似的东西代替加法和减法hash_combine() 和 hash_uncombine(),但是像 hash_uncombine() 这样的东西真的存在吗?
  • @JeremyFriesner:hash_combine() 方法应该用于组合键和值的散列,因为 1)它们可能单独是相当弱的散列,并且 2)它们可能使用相同的散列函数,并且您不希望 GetHashForPair(a,b) 等于 GetHashForPair(b,a)。完成此操作后,您就有了一个相当强的哈希,可以完全合理地添加到其他此类哈希中/从中减去。 (hash_uncombine() 不存在,也不会为您工作 - hash_combine() 输出取决于输入的顺序。)
猜你喜欢
  • 1970-01-01
  • 2016-06-23
  • 2010-09-20
  • 1970-01-01
  • 2012-02-09
  • 2010-11-03
  • 2010-10-04
  • 2014-06-18
相关资源
最近更新 更多