这是我目前正在进行的研究项目之一。这个要求几乎和你的一样，我们已经开发了很好的算法来解决这个问题。
输入
输入是无穷无尽的英语单词或短语（我们将它们称为tokens）。
输出
- 输出我们见过的前 N 个令牌
远（从我们拥有的所有代币
见过！）
- 在 a 中输出前 N 个标记
历史窗口，例如，最后一天或
上周。
这项研究的一个应用是在 Twitter 或 Facebook 中查找热门话题或话题趋势。我们有一个在网站上爬行的爬虫，它会生成一个词流，然后输入到系统中。然后系统将输出总体上或历史上频率最高的单词或短语。想象一下，在过去的几周里，“世界杯”这个词会在 Twitter 上出现很多次。 “章鱼保罗”也是如此。 :)
字符串转换成整数
系统对每个单词都有一个整数 ID。虽然网上有几乎无限可能的词，但是在积累了一大堆词之后，找到新词的可能性越来越低。我们已经找到了 400 万个不同的单词，并为每个单词分配了一个唯一的 ID。这整组数据可以作为哈希表加载到内存中，大约消耗 300MB 内存。 （我们已经实现了自己的哈希表，Java的实现占用了巨大的内存开销）
然后可以将每个短语识别为整数数组。
这很重要，因为整数的排序和比较比字符串快得多。
存档数据
系统为每个令牌保留存档数据。基本上是成对的(Token, Frequency)。但是，存储数据的表会非常大，以至于我们必须对表进行物理分区。一旦分区方案基于令牌的 ngram。如果token是一个单词，就是1gram。如果token是两词短语，则为2gram。这种情况还在继续。大约 4 克，我们有 10 亿条记录，表大小约为 60GB。
处理传入流
系统会吸收输入的句子，直到内存被充分利用（是的，我们需要一个 MemoryManager）。在取出 N 个句子并存储在内存中后，系统会暂停，并开始将每个句子标记为单词和短语。每个标记（单词或短语）都被计算在内。
对于频繁使用的令牌，它们始终保存在内存中。对于不太频繁的标记，它们根据 ID 进行排序（记住我们将字符串转换为整数数组），并序列化到磁盘文件中。
（但是，对于您的问题，由于您只计算单词，因此您可以仅将所有单词频率图放在内存中。精心设计的数据结构对于 400 万个不同的单词仅消耗 300MB 内存。一些提示：使用ASCII char 来表示字符串），这是可以接受的。
同时，一旦找到系统生成的任何磁盘文件，就会激活另一个进程，然后开始合并它。由于磁盘文件已排序，因此合并将采用类似于合并排序的过程。这里也需要注意一些设计，因为我们想避免过多的随机磁盘寻道。这个想法是避免同时读取（合并进程）/写入（系统输出），让合并进程从一个磁盘读取，同时写入另一个磁盘。这类似于实现锁定。
一天结束
在一天结束时，系统将在内存中存储许多具有频率的频繁令牌，并将许多其他不太频繁的令牌存储在多个磁盘文件中（并且每个文件都被排序）。
系统将内存中的映射刷新到磁盘文件中（对其进行排序）。现在，问题变成了合并一组排序的磁盘文件。使用类似的过程，我们会在最后得到一个排序的磁盘文件。
然后，最后的任务是将排序后的磁盘文件合并到存档数据库中。
取决于存档数据库的大小，如果足够大，算法的工作原理如下：
for each record in sorted disk file
update archive database by increasing frequency
if rowcount == 0 then put the record into a list
end for
for each record in the list of having rowcount == 0
insert into archive database
end for
直觉是，一段时间后，插入的次数会越来越少。越来越多的操作将只更新。并且这个更新不会受到索引的惩罚。
希望整个解释会有所帮助。 :)