大家好，时隔多年再次打开我的博客园写下自己的经验和学习总结，开园三年多，文章数少得可怜，一方面自己技术水平局限，另一方面是自己确实想放弃写博客。由于毕业工作的原因，经常性的加班以及仅剩下少的可怜的休息时间实在是想好好休息。但现在又回到了校园，在2019年4月份我选择了辞职
1、扩展安装 composer require lustre/php-dfa-sensitive 2、推荐的敏感词库 https://codeload.github.com/jkiss/sensitive-words/zip/refs/heads/master 3、使用： 把下载好的词库放到项目本地 直接上代码： use DfaFilter\SensitiveHelper; public static function c
首先从github上获取别人扒好的词库json数据 https://github.com/kajweb/dict 数据格式大致如下 接着就可以直接使用python处理数据，并插入数据库了 import sys from jsonpath import jsonpath import json import demjson import pymysql #打开文件名为json的文件夹下
原文链接：https://github.com/fighting41love/funNLP Skip to content NLP民工的乐园 The Most Powerful NLP-Weapon Arsenal NLP民工的乐园: 几乎最全的中文NLP资源库 词库工具包学习资料 在入门到熟悉NLP的过程中，用到了很多github上的包，遂整理了一下，分享在这里。 很多包非
作者介绍@edan 前商业数据分析师，现 TMD 数据产品经理。 期望和数据小伙伴一起做些有意思的事情～ 01 什么是消费者洞察？ 随着社会的发展，中国消费者所处环境在变，消费观念也在变：大家从应付生活转变为经营生活、享受生活。在急剧变化的市场环境下，影响消费品牌成长的因素很多，其中深刻理解
Python有一个库名为jieba的中文分词库，可以把中文句子切分成一个个的词语以用于文本分析、制作词云图等。首先我们要安装jieba，在命令行输入“pip install jieba”即可。jieba有3种分词模式，分别是精准模式（将句子尽量精准切分开）、全模式（将所有能成为词语的都切分出来）、搜索引擎模式（在
简数采集的SEO词库及句料库，可以设置供对应SEO工具使用的关键词库、同义词库、关键词内链库、SEO句料库等，更有针对做相应网站内容的SEO优化，提高文章的收录和网站权重有非常重要的作用。 操作步骤如下： 关键词库配置关键词内链库配置同义词库配置句料库配置 1. 关键词库配置
为什么需要在python使用结巴分词(jieba)创建自己的词典/词库，因为很多时候分词给我们的结果了能刚好相反，如:不回家变成了不,回家;从上一篇文章文章我们已经讲诉了python使用结巴中文分词以及训练自己的分词词典，基本的安装和基本使用大家直接去看那篇文章即可，我们主要介绍如何python
在前面几节，我们看了一下solr的基本用法，这一节我们将看一下在solr中配置分词器、停词库以及扩展词库。 1、前提约束 完成solr的安装和启动 https://www.jianshu.com/p/de807e2ef12f 笔者的solr路径位于/root/solr-4.10.3 solr的web端部署于/root/apache-tomcat-8.0.33 2、操作步
对大中型网站的SEO工作来说，人工分类只能解决中短尾词的着陆页需求，可能做成分类列表，也可能做成专题页来抢占关键词排名。 但还有大量的长尾搜索需求该如何覆盖呢？ 常规做法是长尾词搜索聚合页。 搜索聚合页是什么？ 通过关键词去站内搜索出一些结果做成SEO友好的静态化页面。 聚合页面
Jieba库 一．概述 1．由于中文汉字之间是连续书写的，不像英文单词之间是空格隔开的，获得汉语的词组 2．就需要特殊的手段，即：分词 3．Jieba是优秀的中文分词 第三方库 4．Jieba 提供三种分词模式，最简单只需要掌握一个函数 二．Jieba库分词的原理 1．利用中文词库，确定汉字之间的关联概率，汉字之间关联
一、DEA 算法简介 在实现文字过滤的算法中，DFA是唯一比较好的实现算法。 DFA 全称为：Deterministic Finite Automaton，即确定有穷自动机。其特征为：有一个有限状态集合和一些从一个状态通向另一个状态的边，每条边上标记有一个符号，其中一个状态是初态，某些状态是终态。但不同于不确定的有
定义 同义词：搜索结果里出现的同义词。如我们输入”还行”，得到的结果包括同义词”还可以”。 停止词：在搜索时不用出现在结果里的词。比如is 、a 、are 、”的”，“得”，“我” 等，这些词会在句子中多次出现却无意义，所以在分词的时候需要把这些词过滤掉。 扩展词：在搜索结果里额外出现
众所周知，优化的目的就是为了流量，最终获得用户。在做网站优化的过程中，拥有一份所在行业的长尾关键字词库是非常有必要的，因为它在网站流量建设中能起到非常好的辅助，也能更好的了解你所在的行业。不管是用哪种优化方法，长尾关键字词库都可以为用细分来路，引来精确的流量。在这里呢
1、下载 elasticsearch-analysis-ik 源码包 下载地址： https://github.com/medcl/elasticsearch-analysis-ik/releases 2、修改源码 org.wltea.analyzer.dic.Dictionary 单例类的初始化方法 initial，在这里需要创建一个我们自定义的线程，并且启动它 /** * 词典初始化 由
原文链接：http://www.cnblogs.com/sunjie21/p/3327221.html 过程记录如下： 1、在QQ五笔中导出QQ五笔系统词库 2、使用「深蓝词库转换」转换QQ五笔系统词库，输入源修改为”五笔86版“，输出方式修改为Rime中州韵-五笔。 3、在Ubuntu中打开Terminal： 进入rime配
最近用到了jieba分词，在电脑上明明把结巴词库安装好了却一直不能使用，折腾了一会才发现问题出在pycharm设置的环境之中，一开始没想着是pycharm环境出现了问题，只是觉得明明把jieba词库按照要求安装怎么还出现了 ModuleNotFoundError: No module named ‘jieba’ 经过我在cmd后台
最新版搜狗输入法 for Mac已上线！搜狗输入法mac版下载是一款MAC平台下的汉字拼音输入法，是一款基于搜索引擎技术开发的并且特别适合网民使用的新一代的输入法产品，mac搜狗输入法继承了PC搜狗拼音输入法的超强组词算法，词库大，打字快，手感流畅，还可以直接使用搜狗拼音输入法的数万款
我用的输入法是电脑自带的微软输入法，感觉还可以，没有繁琐的特殊组合，界面精简（到现在我都没见过他的完整界面一直固定在电脑状态栏） 只有两个模式 微软拼音 微软英文可以调整外观 拥有自学习功能 输入最多的是我的名字 （不知道会不会在网上已经有人知道这台电脑是我得了） 缺点是 自学习功
百度输入法 for mac是一款基于百度强大的数据挖掘和中文分词技术的智能输入法，支持拼音、笔画、五笔、手写、智能英文输入,并拥有智能语音输入、多媒体输入两大全新输入方式。除此以外，还拥有词库精准、输入流畅、皮肤精美、操作便捷等特点。百度Mac输入法是一个非常值得推荐的输入法
本次作业来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba jieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jie
今天要给大家在推荐 Github 上一个优质的中文 NLP 工具和资源集合项目——funNLP，已经获得了 5.3k Stars，1k+ Forks。 项目作者 杨洋，一枚水博&互联网民工，目前主要从事文本分类，信息抽取等自然语言处理研发工作；兴趣包括：语言资源构建、信息抽取与知识图谱、舆情分析等。喜欢分享一些小知
