标签：Lucene 调用 lucene 模块 AttributeSource TokenStream 分词

2021SC@SDUSC

TokenStream

Lucene的analysis模块主要负责词法分析及语言处理而形成Term。

Lucene的index模块主要负责索引的创建，里面有IndexWriter。

Lucene的store模块主要负责索引的读写。

Lucene的QueryParser主要负责语法分析。 

Lucene的search模块主要负责对索引的搜索。

Lucene的similarity模块主要负责对相关性打分的实现。

通过对文本的分析来建立TokenStreams(分词数据流)。TokenStream是由一个个Token(分词组成的数据流)。所以说Analyzer就代表着一个从文本数据中抽取索引词（Term）的一种策略。为了定义具体完成哪些分析工作，Analyzer的子类必须实行自己的createCompontents方法。这里也是我们进行中文扩展的主要切入口。

TokenStream即是从Document的域（field）中或者查询条件中抽取一个个分词而组成的一个数据流。TokenSteam中是一个个的分词，而每个分词又是由一个个的属性（Attribute）组成。对于所有的分词来说，每个属性只有一个实例。这些属性都保存在AttributeSource中，而AttributeSource正是TokenStream的父类。

TokenStream的工作流程：

1.实例化TokenStream, 添加属性到AttributeSource，或从AttributeSource中获取属性.

2.调用reset()方法，设置stream的初始状态

3.调用increamStoken()方法，来获取下一个分词。这个方法会被docuemnt中的每一个分词调用。所以一个有效的实现对于好的性能来说是至关重要的。

4.调用end（）方法来完成一些收尾工作

5.调用close()方法来释放stream关联的一些资源。

标签：Lucene,调用,lucene,模块,AttributeSource,TokenStream,分词
来源： https://blog.csdn.net/hhhhhigh/article/details/121597505

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。