低冲突电子邮件哈希算法？

Question

背景：

我们正在构建一个邮件工具，目前已将emailaddresses 分隔到一个单独的表中，因此单个emailaddress 仅存储一次，而是由其id 引用。我们发现这是一个好主意，因为每封电子邮件的收件人数量可能很大，而且大多数电子邮件地址可能会收到超过 100 封电子邮件。

但是，当用户将emailaddresses 导入list 或类似操作时，我们首先需要批量插入以确保所有电子邮件地址都具有ids，我们只需忽略冲突即可。但是，当我们想要将它们插入到list 中时，我们必须一个接一个地获取emailaddresses，或者使用带有电子邮件地址的巨大IN 查询（​​因为list 引用emailaddress by id )，不是很诱人！

编辑：用户可能要导入 100.000 多个电子邮件地址，对于 1000 个左右的电子邮件地址，当然逐个查询并不是真正的问题。

问题：

所以一个想法是散列每个emailaddress 并将其用作id。这意味着，我们可以预测所有emailaddresses 的id，而无需查询它们。但是有没有什么好的算法，因为存储 16bytes/128bit+ 有点达不到目的...... 64bit 应该足够吗？鉴于这也应该被索引，这将不胜感激。

有什么建议吗？如果我们只是从 MD5 中取出前 8 个字节会怎样？ SHA1 的 8 字节更好吗？也许有更专业的算法？我并不完全了解碰撞概率，但我很好奇现有算法在精简时的效果如何，因为电子邮件是小写的，主要是字母或数字。 （注意数据集可能会很大）

附言。我们使用的是 PHP，所以它在一定程度上限制了我们实现特殊算法的能力。

Answer 1

不确定我是否理解您的用例，但在电子邮件地址列上设置唯一键约束...

Answer 2

您当前的方法及其局限性存在大量问题。

其中大部分问题都可以通过维护一个以 ID 作为主键的电子邮件地址表（在 MySQL 或 SQLite 上自动递增，在其他地方排序）和电子邮件地址上的唯一索引来解决。

为什么您的“用户”会处理大量电子邮件地址列表，目前尚不清楚。听起来您的大部分数据（即特定列表中的收件人）并未在您的数据库中维护。您永远不应该“一个接一个地获取电子邮件地址或使用带有电子邮件地址的大量 IN 查询”。

减少 md5 或 sha 的输出会破坏散列的唯一性并增加冲突的可能性。

Answer 3

在你做任何激烈的事情之前，检查你的查询计划（你如何做取决于你使用的特定数据库服务器，检查它的文档）。

查看您是否无法获得索引以处理电子邮件地址。这应该会加快一些速度，尽管规划器可能会因为您插入大量数据而跳过它们。

当（且仅当）您尝试过时，您可以查看散列问题。

我不知道任何专门为散列电子邮件地址而设计的算法，虽然您可以使用 MD5，但它的设计目的是在冲突概率必须非常小以至于基本上不会发生的情况下使用（我认为没有人有在野外发现了 MD5 碰撞）。这可以做到，但计算成本很高。如果使用 SHA，情况会更糟。

在你的情况下，我会建议一些更简单的方法：首先，因为我们可以假设所有电子邮件都在表单中

<someName>@<someServer>

我要做的是将电子邮件分成两部分，从每个部分中删除所有非字母、非数字字符。

接下来，我们可以计算两个部分中的每一个的数值，我们通过将每个单独字母的 ascii 值相加得到（你剥离了其他所有内容，所以多字节字符不会有问题） .

此时剩下要做的就是将这两个和合并起来，由于我们可以预期可能的发送者会少得多，我们可以只用两个字节来保存服务器的名称。

在伪代码中：

function emailHash(namePart, serverPart){
  $someName = asciiStrip(namePart)
  $someServer = asciiStrip(serverPart)
  $someNameSum = 0 
  $someServerSum = 0 
  foreach($letter in $someName){
    $someNameSum += asciiValue($letter)
  }
  foreach($letter in $someServer){
    $someServerSum += asciiValue($letter)
  }
  return ($someNameSum % 2^6)*2^2 + $someServerSum % 2^2
}

基于 cmets 编辑

你说得对，那个人真的很穷。但是，您还可以做另一件有趣的事情，尽管实现起来会有点困难。

在我们去掉外来字符后，只有 36 个可能的字符，所以我们只需要 6 位来存储每个值。使用 48 位存储用户名部分，可以存储来自电子邮件地址的 8 个字符。碰撞会有多低？

可以通过以某种方式取消数字（例如在将它们除以二后存储它们）来改进，这样我们总共只处理 32 个数字。然后可以将每个数字仅存储在 5 位中，总共 9 个字符。

如果这不能提供足够低的碰撞率，您可能必须使用 MD5，它应该（假设算法给出完美分布）只会给您数十亿分之一的碰撞机会。