文章目录
一、项目背景
对于存量客户都会关注我们的"客户服务中心"微信公众号，内嵌了一个"我的客服"功能，可以使用AI智能解决常见的客户问题，分担热线进线量，节约人力成本。
二、数据准备
1. 关键数据
近两年的咨询投诉对话150万条左右的语料，24种意图类别，64种实体类型。
人工打的标签，每条语料需要整理出客户意图、实体类型，实体标签。
2.一个例子
一个（意图，实体类型）对决定这一个对话决策（一般是sql语句的决策）比如 意图为"提前还款"，实体类型为"还款渠道"，实体名称为"XXXAPP"，后台一般会反馈一个对话策略 “会问客户希望在哪里，什么时间提前还款?” 客户又会回答一个时间，系统会识别实体类型"还款类型"，实体名称为"明天下午"，系统会最终给出回答"请明日12点后登录路径1点击XXX还款，提示每月扣款时间为。。。。。。" 等
三、模型内容
整个对话系统分为三个模块：NLU、DM、NLG。其中NLU是我们主要负责的部分。
模型是基于Bert将意图识别和语义槽填充两个任务同时完成的。逻辑是输入语料用Bert预训练之后，每个词都有相应的词向量表示。对于一条训练语句，第一个输入到模型的token是【CLS】，利用【CLS】的向量表示经过一个feedforward 神经网络【768，24】可以进行意图识别，也就是使用softmax进行24分类。而句子其他的输出向量则经过一个【768，64*2+1】的FF做BIO序列标注。得到的意图类别和实体与预先标注的标签进行对比。用cross entropy loss（两个任务的loss相加）进行训练得到合适的模型权重。
四、模型效果
1. 模型效果
两个任务由于一个是24分类，另一个是句子长度个的129分类，前者的难度比后者小的多。意图识别的准确率也确实可以达到98%，而NER命名实体似乎别最好也就是88%左右。
2.业务效果
可以分担之前12%的进线咨询，在线智能解决率约为95%
五、面试可能会问到的相关问题
1. 如果有新的意图进来如何能在不影响已经训练好的意图
2. 小样本如何训练
标签：总结,24,训练,模型,实体,系统,意图,对话,还款 来源： https://blog.csdn.net/weixin_49528551/article/details/120813237
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。