分词入口:子类调用 Analyzer.totkenStream(String fieldName,Read read)。构建分词器,读入待分词文本。

lucene分词部分源码阅读-分词流程

子类中实现createComponents方法

lucene分词部分源码阅读-分词流程

将需要的Tokenizer,及Filter传入TokenStreamComponents , TokenStreamComponents是Analyzer的内部类。

lucene分词部分源码阅读-分词流程

lucene分词部分源码阅读-分词流程

返回对象为包装了Tokenizer的Filter。lucene分词部分源码阅读-分词流程Filter继承自TokenStream。

 

之后用返回的filter对象调用incrementToken方法,外层装饰对象先调用内层装饰对象的incrementToken方法,执行顺序为:最先进行分词,再按照装饰顺序进行过滤,最终分词结果转为指定词元格式后返回。

lucene分词部分源码阅读-分词流程

lucene分词部分源码阅读-分词流程lucene分词部分源码阅读-分词流程

相关文章:

  • 2021-09-14
  • 2021-09-14
  • 2019-06-16
  • 2021-09-14
  • 2021-09-14
  • 2021-09-14
  • 2021-10-05
  • 2020-01-12
猜你喜欢
  • 2018-07-05
  • 2021-09-14
  • 2021-09-14
  • 2021-10-06
  • 2021-09-14
  • 2018-12-10
  • 2021-09-14
  • 2021-09-14
相关资源
相似解决方案