如何在 node.js 中对文本文件进行词干处理？

Question

我想在使用 node.js 的文本文件上使用 NLP 词干提取，然后将其存储在某个输出文件中。如果您需要更多信息，请告诉我。

我正在使用 npm natural 和 PorterStemmer 做同样的事情，但没有成功。

function doStem(data){
    var natural = require('natural');
    //do procesing using WordTokenizer & PorterStemmer.
    return nData;
}

如果我使用了正确的方法，请告诉我，或者如果有任何需要更正的地方，请告诉我。

更新：

function doStemming(data){ 
  var natural = require('natural'); 
  var tokenizer = new natural.WordTokenizer(); 
  var tokens = tokenizer.tokenize(data); 
  stemmer = natural.PorterStemmer(data);
  var nData = stemmer.stem(tokens); 
  //console.log(nData); 
  return nData; 
} 

这就是我正在做的事情。请提供一些关于如何使用标记化和 PorterStemmer 到文本文件而不是任何特定单词的想法

Answer 1

这是您的代码 sn-p 和您的错误（感谢您发布两者）：

代码：

function doStemming(data){ 
  var natural = require('natural'); 
  var tokenizer = new natural.WordTokenizer(); 
  var tokens = tokenizer.tokenize(data); 
  stemmer = natural.PorterStemmer(data);
  var nData = stemmer.stem(tokens); 
  //console.log(nData); 
  return nData; 
} 

错误：

stemmer = natural.PorterStemmer(data); 
                  ^ TypeError: natural.PorterStemmer is not a function 
  at doStemming (/home/vishabh/purify/stemer.js:39:21) 
  at ReadStream.<anonymous> (/home/vishabh/purify/stemer.js:20:21) 
  at emitOne (events.js:116:13) 
  at ReadStream.emit (events.js:211:7) 
  at addChunk (_stream_readable.js:263:12) 
  at readableAddChunk (_stream_readable.js:250:11) 
  at ReadStream.Readable.push (_stream_readable.js:208:10) 
  at fs.read (fs.js:2051:12)

原因：就像错误消息所说：“natural.PorterStemmer()”不是一种方法。相反，“natural.PorterStemmer”是一个OBJECT。

看这里：

https://www.npmjs.com/package/natural#stemmers

natural.PorterStemmer.attach();
console.log("i am waking up to the sounds of chainsaws".tokenizeAndStem());
console.log("chainsaws".stem());

换句话说，你可以尝试这样的事情：

function doStemming(data){ 
  var natural = require('natural'); 
  var tokenizer = new natural.WordTokenizer(); 
  var tokens = tokenizer.tokenize(data); 
  var nData = natural.PorterStemmer.stem(tokens); 
  console.log(nData); 
  return nData; 
}