根据常用词的出现对 csv 数据进行排序

Question

我有一个来自 csv 文件的大数据，如下所示。

url1, comment1
url2, comment2

我需要找到 cmets 之间的常用词，并根据每行常用词的出现情况对行进行相应的排序。

目前我能够获得常用词，但我不知道如何在不耗尽内存的情况下对每个常用词的行进行排序。

下面是我非常低效的代码。

$data = array();
while (($row = fgetcsv($fh, 1024, ',')) !== false) {
  $data[] = $row[1];
}

$str = preg_replace('/\s\s+/', ' ', trim(str_replace(array('!', '?', '.', ','), ' ', implode('', $data))));

$words = explode(" ", $str);
var_dump(array_count_values($words));

Answer 1

将分解的数据/单词加载到数据库中听起来是个好主意，

或者你可以试试这个：

$summary = array();
$data = array();
while (($row = fgetcsv($fh, 1024, ',')) !== false) 
{
  $data[] = $row[1];
  $str    = preg_replace('/\s\s+/', ' ', trim(str_replace(array('!', '?', '.', ','), ' ', $row[1])));
  $words  = explode(" ", $str); 
  foreach ($words as $word)
  {
    $word = strtolower($word); // lowercase to reduce variations
    $summary[$word]++;
  }
}
/* variable $summary will contains all your count */
/* take note on the size of $summary, could growth quite big */