标签：ik 切分 IK elasticsearch 分词器 ElasticSearch 分词
IK分词器简介
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。
IK分词器3.0的特性如下：
- 1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
- 2）采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。
- 3）对中英联合支持不是很好,在这方面的处理比较麻烦.需再做一次查询,同时是支持个人词条的优化的词典存储，更小的内存占用。
- 4）支持用户词典扩展定义。
- 5）针对Lucene全文检索优化的查询分析器IKQueryParser；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。
当我们创建索引时，字段使用的是标准分词器，所以在查询的时候时常出现问题，所以下面介绍一下分词器
- Standard 标准分词：默认的，如果是英文按单词切分，并且会转化成小写，如果是中文的话，则按一个词切分。
#默认分词器测试
POST _analyze
{
"analyzer": "standard",
"text": "A man becomes learned by asking questions."
}
POST _analyze
{
"analyzer": "standard",
"text":"我是中国人"
}
ElasticSearch集成IK分词器
IK分词器的安装
1）下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases
注意：下载时一定要下载与当前ES版本一致的分词器版本，免得出现一些其他问题。
2）解压，将解压后的elasticsearch-analysis-ik-7.17.3文件夹拷贝到elasticsearch-7.17.3/plugins下，并重命名文件夹为ik。
3）重新启动ElasticSearch，即可加载IK分词器。
cd /usr/local/elasticsearch-7.17.3/bin/
#启动命令
./elasticsearch
#后台启动命令
./elasticsearch -d
IK分词器测试
IK提供了两个分词算法ik_smart 和 ik_max_word
- ik_smart：为最少切分
- ik_max_word：为最细粒度划分
我们分别来试一下：
1）最小切分：
#分词器测试ik_smart
POST _analyze
{
"analyzer":"ik_smart",
"text":"我是中国人"
}
输出的结果为：
2）最细切分：
#分词器测试ik_max_word
POST _analyze
{
"analyzer":"ik_max_word",
"text":"我是中国人"
}
输出的结果为：
标签：ik,切分,IK,elasticsearch,分词器,ElasticSearch,分词 来源： https://www.cnblogs.com/tanghaorong/p/16299053.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。