使用 ruby​​ 创建常用单词或短语的列表

Question

寻找一些关于从 nosql 数据库中的一堆条目中生成常用单词和短语列表的建议。基本上，我们有一堆由某人发的帖子，我们想告诉他们“嘿，你经常使用这些词/短语”。

我对这个有点难过。

我的应用程序是 ruby​​ on rails、backbone-js 和 redis。

Answer 1

由于不清楚帖子的存储方式，我假设您可以获得所有帖子的数组。

查找最常见的不常用词的简单算法如下：遍历所有帖子的数组，然后从除单词之外的任何内容中删除帖子并将其拆分为单词。遍历条目中的所有单词，并将您看到该单词的次数加 1。对所有条目中的所有单词完成此操作后，您将获得一个包含所有单词出现次数的哈希值。删除最常用的词，这里以100 common words 为例。您可能应该在您的应用程序中使用更多。按出现次数对它们进行排序，您将得到最常出现的单词。

已实现here。它不处理您可能想要的posts 为post 之类的情况。您可以查看 Rails 如何实现 String#singular 来获得这种行为。

如果您想找到更有趣的常用短语，您可能必须使用@sawa 在评论中指出的某种自然语言处理。我想不出一个足够快的解决方案。