标签：检索 wide knowledge dynamic ADL100 Att teach Wuwei method

1. 检索

　　1）（单轮回复选择）匹配模型

　　　　a. sentence 生成定长向量 进行匹配 f(g(Q), g(R))

　　　　　　f和g各种变种

　　　　　　f: MLP Neural Tensor Cosine

　　　　　　g: CNN LSTM+Att 

　　　　b. query 与 candidate response 匹配

　　　　　　g: Interaction Representation(Att / Sim)

　　　　c. 效力和效率

　　2）多轮回复选择

　　　　a. 挑战：

　　　　　　层次结构：word->utterance->session

　　　　　　信息冗余

　　　　　　逻辑：句子的顺序？词句长期依赖，适合句子的约束

　　3）knowledge enhanced

　　方向：deep wide pre-training ->  hhh yes

　　Learning method

　　　　from unlabelled data （weak supervision） （acl 18）

　　　　denoise with Peer （co-teaching） (两个网络互相加权，互相trach acl19)

　　　　　　teach with dynamic margin

　　　　　　teach with dynamic instance weight

　　　　　　teach with dynamic data curriculum(选高置信度的)

　　Summary:

　　　　matching model

　　　　two framework

　　　　　　vec -> match

　　　　　　rep -> math -> aggregation

　　　　external knowledge

　　　　Deep, wide(better representation), learning method

标签：检索,wide,knowledge,dynamic,ADL100,Att,teach,Wuwei,method
来源： https://www.cnblogs.com/zh-liu/p/ADL100-2-Retrival-Chat.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。