标签：jieba cut 几种 seg pair True 分词
1、精确模式：试图将句子最精确地分开，适合文本分析
seg_list = jieba.cut(test_text, cut_all=False)
seg_list = " ".join(seg_list)
print("cut_all=False:", seg_list)
输出：
cut_all=False: 我 今天下午 打篮球
2、全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义
seg_list2 = jieba.cut(test_text, cut_all=True)
seg_list2 = " ".join(seg_list2)
print("cut_all=True:", seg_list2)
输出：
cut_all=True: 我 今天 今天下午 天下 下午 打篮球 篮球
我们可以发现，分词结果中有个 “天下”，显然这不是我们想要的词语，这属于噪声词。
3、搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词
seg_list3 = jieba.cut_for_search(test_text)
seg_list3 = " ".join(seg_list3)
print("cut_for_search:", seg_list3)
输出：
cut_for_search: 我 今天 天下 下午 今天下午 篮球 打篮球
命令行进行分词
python -m jieba input.txt > output.txt
词性分析
import jieba.posseg as posseg text = "征战四海只为今日一胜，我不会再败了。" # generator形式形如pair(‘word’, ‘pos’)的结果 seg = posseg.cut(text) print([se for se in seg]) # list形式的结果 seg = posseg.lcut(text) print(seg)
[pair('征战', 'v'), pair('四海', 'ns'), pair('只', 'd'), pair('为', 'p'), pair('今日', 't'), pair('一', 'm'), pair('胜', 'v'), pair('，', 'x'), pair('我', 'r'), pair('不会', 'v'), pair('再败', 'v'), pair('了', 'ul'), pair('。', 'x')]
[pair('征战', 'v'), pair('四海', 'ns'), pair('只', 'd'), pair('为', 'p'), pair('今日', 't'), pair('一', 'm'), pair('胜', 'v'), pair('，', 'x'), pair('我', 'r'), pair('不会', 'v'), pair('再败', 'v'), pair('了', 'ul'), pair('。', 'x')]
关键词抽取
关键词抽取有两种算法，基于TF-IDF和基于TextRank：
import jieba.analyse as analyse text = "征战四海只为今日一胜，我不会再败了。" # TF-IDF tf_result = analyse.extract_tags(text, topK=5) # topK指定数量，默认20 print(tf_result) # TextRank tr_result = analyse.textrank(text, topK=5) # topK指定数量，默认20 print(tr_result)
['一胜', '再败', '征战', '四海', '今日'] ['一胜', '再败', '征战', '四海', '今日']
完整用法
分词
jieba分词有三种不同的分词模式：精确模式、全模式和搜索引擎模式：
jieba.cut(sentence,cut_all=False,HMM=True) # 精确模式 jieba.cut(sentence,cut_all=True,HMM=True) # 全模式 jieba.cut_for_search (sentence, HMM=True) # 搜索引擎模式
对应的，函数前加l即是对应得到list结果的函数：
jieba.lcut(sentence,cut_all=False,HMM=True) # 精确模式 jieba.lcut(sentence,cut_all=True,HMM=True) # 全模式 jieba.lcut_for_search (sentence, HMM=True) # 搜索引擎模式
sentence = "征战四海只为今日一胜，我不会再败了。" #---------------result---------------- '今天天气 真 好' # 精确模式 '今天 今天天气 天天 天气 真好' # 全模式 '今天 天天 天气 今天天气 真 好' # 搜索引擎模式
精确模式是最常用的分词方法，全模式会将句子中所有可能的词都列举出来，搜索引擎模式则适用于搜索引擎使用。具体的差别可在下一节工作流程的分析中详述。
在上述每个函数中，都有名为HMM的参数。这一项表示是否在分词过程中利用HMM进行新词发现。关于HMM，本文附录中将简述相关知识。
另外分词支持自定义字典，词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。
具体使用方法为：
jieba.load_userdict(file_name) # 载入自定义词典 jieba.add_word(word, freq=None, tag=None) # 在程序中动态修改词典 jieba.del_word(word) jieba.suggest_freq(segment, tune=True) # 调节单个词语的词频，使其能/不能被分词开
关键词抽取
关键词抽取的两个函数的完整参数为：
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=(), withFlag=False)
# topK 表示返回最大权重关键词的个数，None表示全部
# withWeight表示是否返回权重，是的话返回(word,weight)的list
# allowPOS仅包括指定词性的词，默认为空即不筛选。
jieba.analyse.textrank(self, sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'), withFlag=False)
# 与TF-IDF方法相似，但是注意allowPOS有默认值，即会默认过滤某些词性。
并行分词
可以通过
jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数，默认全部 jieba.disable_parallel() # 关闭并行分词模式
来打开或关闭并行分词功能。
个人感觉一般用不到，大文件分词需要手动实现多进程并行，句子分词也不至于用这个。
标签：jieba,cut,几种,seg,pair,True,分词 来源： https://www.cnblogs.com/LiuXinyu12378/p/13497659.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。