散列字符串

Question

我有流式字符串（包含单词和数字的文本）。

一次一行的流式传输字符串，我想为它们分配一个唯一的值。

示例可能是：带有分数/哈希的字符串

  User1 logged in Comp1 port8087       1109      
  User2 logged in comp2                1135
  user3 logged in port8080             1098
  user1 logged in comp2 port8080       1178       

这些字符串应该在同一个簇中。为此，我认为映射（散列的错误类型）字符串，以便字符串中的微小变化不会对分数产生太大影响。

一种简单的方法可能是：使用 UliCp8、Ulic ....（即每个句子的第一个字母）并找到某种评分方法。之后，相似的得分字符串被保存在同一个桶中，然后对它们进行分组。

改进的方法是：让我们不要取出字符串中每个单词的第一个单词，而是找到一些方法来获取单词的代表值，这样字符串表示可能非常适合与我提到的 score/hash 进行映射.

考虑到 Levenstein 距离或 jaccard_index 或一些相似距离度量，它们都需要输入字符串进行比较。是否有任何方法可以在不进行比较的情况下对字符串进行哈希/评分。（POS标记，比较对于我的目的来说看起来效率不高，因为数据是流式的，数量庞大，非结构化）

希望您了解我想要实现的目标，并请帮助我。忘记下面的cmets，让我们重新启动。

Answer 1

“至少两个相似的词（不考虑长度）应该有相似的哈希值”

这违反了哈希函数的最基本要求。使用散列函数，对输入的最小更改也会对散列所在的存储桶产生剧烈的变化。

您正在寻找一种算法来计算两个输入之间的相似度或距离。

Answer 2

如上所述，您不是在寻找哈希函数，而是像the Levenshtein distance 这样的算法，用于计算表示两个位序列之间差异程度的度量。它通常用于找出两个字符串的相似/不同程度。散列/消息摘要有助于为唯一、不同的值创建标识符，但它们会为“相似”值产生完全不同的结果。

您对字符串的相似性感兴趣。这是一个很好的post，它列出了一些用于测量字符串相似度的资源。也许Lucene 可以帮助您解决您的情况。