标签：分词器 模式 dic IK 海淀区 萌贝树 smart 字典

　　IK分词器首先会维护几个词典来记录一些常用的词，如主词表：main2012.dic、量词表quantifier.dic、停用词stopword.dic。
　　Dictionary为字典管理类中，分别加载了这个词典到内存结构中。具体的字典代码，位于org.wltea.analyzer.dic.DictSegment。 这个类实现了一个分词器的一个核心数据结构，即Tire Tree。
　　Tire Tree（字典树）是一种结构相当简单的树型结构，用于构建词典，通过前缀字符逐一比较对方式，快速查找词，所以有时也称为前缀树。具体的例子如下。
　　比如：我是北京海淀区中关村的中国人民。
　　我们设置的词典是：北京、海淀区、中关村、中国、中国人民，那么根据词典组成的字典树如图所示：

　　海量数据搜索---demo展示百度、谷歌搜索引擎的实现然后我们根据这个字典树来对这段话进行词语切分。IK分词器中，基本可以分为两种模式：一种是smart模式、一种是非smart模式，可以在代码中初始化的时候去配置。
　　我们其实不用解释这两种模式的字面含义，直接打印两种模式的结果就可以看出来：
　　原句：我是北京海淀区中关村的中国人民
　　smart模式：北京、海淀区、中关村、中国人民非smart模式：北京、海淀区、中关村、中国、中国人民显而易见，非smart模式是将能够分出来的词全部输出；smart模式是根据内在的方法输出一个合理的分词结果，这就涉及到了歧义判断。

标签：分词器,模式,dic,IK,海淀区,萌贝树,smart,字典
来源： https://blog.51cto.com/14539425/2437311

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。