使用 Zipf 定律估计字典大小

【问题标题】：Estimate Dictionary size using Zipf’s Law使用 Zipf 定律估计字典大小
【发布时间】：2017-11-29 01:52:49
【问题描述】：

如何使用 Zipfs 定律计算集合的字典大小（唯一单词数）？

【问题讨论】：

【解决方案1】：

字典大小由堆定律而不是直接由 Zipf 定律近似。

唯一字数 = constant1 x (Total. words)^costant2 其中 constant1 通常介于 10 和 100 之间，而 constant2 通常介于 0.5 和 0.6 之间。

【讨论】：

【解决方案2】：

您必须标记您的收藏，例如通过空格和标点符号。然后将所有令牌存储在哈希中并计数。然后，您要做的是使用Gnuplot 之类的工具绘制计数分布。

【讨论】：