ucene的中文分词器到现在还没有好的解决办法。下边介绍了两个lucene自己提供的分词器和一个javaeye上的网友实现的分词器。关于各个分词器的不同见代码中的print信息。直接运行得到console的输出结果更容易对比不同。
lucene的中文分词器package analyzer;
lucene的中文分词器
lucene的中文分词器
import java.io.Reader;
lucene的中文分词器
import java.io.StringReader;
lucene的中文分词器
lucene的中文分词器
import org.apache.lucene.analysis.Analyzer;
lucene的中文分词器
import org.apache.lucene.analysis.StopFilter;
lucene的中文分词器
import org.apache.lucene.analysis.Token;
lucene的中文分词器
import org.apache.lucene.analysis.TokenFilter;
lucene的中文分词器
import org.apache.lucene.analysis.TokenStream;
lucene的中文分词器
import org.apache.lucene.analysis.cjk.CJKAnalyzer;
lucene的中文分词器
import org.apache.lucene.analysis.cn.ChineseAnalyzer;
lucene的中文分词器
import org.apache.lucene.analysis.standard.StandardAnalyzer;
lucene的中文分词器
import org.mira.lucene.analysis.IK_CAnalyzer;
lucene的中文分词器
import org.mira.lucene.analysis.MIK_CAnalyzer;
lucene的中文分词器
lucene的中文分词器
import com.sohospace.lucene.analysis.xanalyzer.XAnalyzer;
lucene的中文分词器
import com.sohospace.lucene.analysis.xanalyzer.XFactory;
lucene的中文分词器
import com.sohospace.lucene.analysis.xanalyzer.XTokenizer;
lucene的中文分词器
//中文分词使用了Paoding的分词技术,特表示感谢

相关文章:

  • 2021-04-13
  • 2021-09-08
  • 2022-12-23
  • 2022-12-23
  • 2022-01-11
  • 2022-12-23
  • 2021-10-06
  • 2021-11-29
猜你喜欢
  • 2021-09-14
  • 2021-05-21
  • 2021-09-17
  • 2022-12-23
相关资源
相似解决方案