计算长字符串中的唯一单词[关闭]

Question

假设我在内存中有一整本书（或两本书），我想计算其中唯一单词的数量，我该如何计算？我对小字符串的天真方法是：

create a simple hash, place it in array of fixed size, increment array element
All words for which hash array has 1 in it, are unique.

我想要一个更好的方法来处理我真的很长的字符串。我正在用 C 编码。我认为一种方法是使用以块形式工作并组合结果的工作线程。有没有更好的算法？

Answer 1

正如@user3386109 已经提到的，Trie 将是最佳解决方案。基本思想是创建一个字符树。例如：

                             a
                            / \
                           /   \
                          b     c
                         /     / \
                        /     /   \
                       d     a     b

将包含单词“a”、“ab”、“abd”、“ac”、“aca”和“acb”。只需将该方法扩展为将每个单词映射到其对应计数的 Treemap，整个查找就变成线性的，并且可以并行完成以遍历单词：

trie lookup
trienode node = lookup.root

for char c in input:
    if c == ' ':
        //end of word, increment count
        node.count += 1

        //start with root again
        node = lookup.root
    else:
        //go to matching node in the trie
        if !node.hasChild(c)
            node.insertChild(c)

        node = node.childForChar(c)

if node != lookup.root
     //increment count for last word, if the last char wasn't a space
    node.count += 1

现在只需要分析这种方法构造的trie。这可以通过简单地过滤所有计数大于 0 的节点并列出这些节点的路径及其各自的计数来轻松完成。

您可能希望为标点符号、数字等添加过滤。但是如果对子节点的查找设计得当，这种方法可以扫描O(n)中的整个文本，即使子节点的查找表使用HashTree，查找仍然可以在对数时间内执行，导致@987654325 @，n 是输入文本的长度（输入文本中的字符）。

感谢@PaulHankin 进行基准测试。结果基本上是：根据我们可以限制输入字母的程度，Trie 比HashTable 效果更好（由@PaulHankin 提出），或者表现更差。如果输入限制为小写字母，则 trie 的性能比 HashTable 好 2.6 倍，如果我们允许所有 256 个 ASCII 字符并使用数组作为查找表，则性能下降到 @987654330 性能的 1.3 倍@。使用HashMap 作为子节点的循环表会进一步降低Trie 的性能，使其运行时间是使用HashTable 的算法的两倍。所以毕竟这个算法的速度真的取决于你愿意限制输入字母的大小。