对于信息产品和内容产品，内容评审是必不可少的环节之一。审核既是产品风险的控制手段，又是维护网络生态环境的重要环节。本文阐述了构建内容审核系统的设计思路和程序，希望能对大家有所帮助。
如果运营同学通过简单的流程梳理，不难发现所涉及的对象包括发送用户、接收用户和内容审核（管理员等）。在设计时有两个方向：一方面简单地考虑对象的处理机制。 在另一方面，考虑关联对象被连接以说明产品设计。
用户的信息可以分类为年龄，性别，地理位置，设备，IP地址，使用时间，交易信息，用户发布等。以上信息均属于用户的数据，用户数据是用户分析的基础，有些数据能在一定程度上反映用户信用。
而用户评分系统是对用户的基础数据进行分析和数字化，可以通过权重累加，也可以通过总分相加。比如：发布过一个企业违规内容的用户，则分值降低等。但是仅仅通过分值进行系统分析可能不够，因为某些分值高的用户还是有可能发布不好的内容。
因此在设计搭建时，需要再学习其他管理策略研究处理，比如高中低风险以及用户提供制度、黑白名单制度等。例如，在检测到用户发布非法内容后，则将与评分值解耦，定义为高风险用户，该用户将被多次放入手动审计机制中。
说完了上述内容，简单讲一下敏感词的策略。以下将简单概述一下内容审核中不同的敏感词策略，常见的有:
1. 关键词：
禁止关键词：一经识别即拦截。疑似关键词：可以支持更多策略，可以设置阈值。
处理方式有涉嫌送审、未送审拦截、黑名单拦截。设置阈值是指设置一定的数量，如果检测到超过一定次数，就会进行相应的处理。
2. 黑白名单：顾名思义，黑名单数据一律通过拦截、白名单企业一律不检测系统拦截。
3. 用户频率: 主要根据用户发送的方式和次数计算用户频率，形成用户频率统计数据。根据用户的频率可以处理: 发送到复查、直接截取、截取加黑。
4. 白指纹：根据指纹的唯一性质，为内容文件通过消息摘要算法生成MD5，配置为黑名单，一旦发现相同的MD5被拦截。白名单也是同理策略。
对于信息产品的各个企业来说，有时审计的内容不能100%准确，所以用户可以通过以上各方式来处理。国内优质人工智能数据服务平台谛听官网，凭借数十年的产品内容经验，积累了更全面的审计维度，从平台的内容安全与运营角度出发，为不同行业的用户提高平台环境与运营活跃度，并且具有行业领先的非法过滤能力，从而为用户提供更可靠、更高质量的服务质量与速度。
标签：处理,分值,用户,内容,审核,拦截,谛听,搭建 来源： https://www.cnblogs.com/yulefox/p/16474828.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。