查找单词密度最高的文本

Question

我有一个哈希如下：

{1=>[{content=>"Text of paragraph 1.........."},{content=>"Text of paragraph 2"}]}

上面的哈希是在解析一个文本文件后创建的。键“1”代表第 1 页。它指向一个哈希数组，每个哈希指向一个段落，内容键指向实际文本。

现在我有一个类似 [word1,word2,word3] 的单词列表。我必须遍历该页面的所有段落内容，并判断哪个段落出现这些单词的次数最多。

我可以编写自己的代码，对段落中的每个单词进行正则表达式匹配。但我想知道是否有任何强大的字符串匹配库可以解决这个用例（在 C、C++ 甚至 ruby​​ 中）

它只是不是字符串匹配。我需要一个库，可以提取包含单词列表中单词密度最高的数据。

Answer 1

这是一个简单的例子，在ruby，用于计算字符串中单词的频率：

def count_words(string)
  string
    .scan(/[\w']+/) # Treat strings like "don't" as a single word
    .each_with_object(Hash.new(0)) do |w,h|
      h[w.downcase] += 1
    end
end

用法：

word_occurrences = count_words("Hello world! Hello, vipul.")
  => {"hello"=>2, "world"=>1, "vipul"=>1}

你不应该需要第三方库来实现这么简单的东西。

要检查特定单词的出现，只需在哈希中查找它：

word_occurrences[word1.downcase]

要获得“密度最高”的单词列表，只需按哈希值排序：

word_occurrences.sort_by {|_word, occurrences| -occurrences}
# Note the negative to make this descending, not ascending