标签：例如 方案 检测 代码 疑似 违规 文本

目录

• • 1. 场景
  • 2. 方案
  • 3. 数据增强
  • 4. 代码

1. 场景

  在问答系统中用户问题可能存在违规情况，包含涉政、色情、辱骂文字的文本视为违规文本。本文提出一种违规文本检测方案， 本方案仅限于判断文本是否包含违规内容，属于文本分类问题。

2. 方案

  方案流程图如下所示。违规词和疑似违规词由人工收集，文本中匹配到违规词则识别为违规文本，例如“煞笔”。文本匹配到疑似违规词或者fasttext模型判断为违规文本则进一步由RoBERTa模型判断。

3. 数据增强

  为了防止被系统屏蔽，用户通常会魔改违规用语，常用的魔改方式有：

1. 插入无关字符。例如“强#,奸”；
2. 拆字。例如”弓虽女干“；
3. 同音替换。例如“卧槽”；
4. 拼音替代。例如“wo cao”。

  模拟上述四种情况完成数据增强。

4. 代码

  本方案完整代码https://github.com/wjx-git/IllegalTextDetection

标签：例如,方案,检测,代码,疑似,违规,文本
来源： https://blog.csdn.net/qq_27668313/article/details/121453066

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。