ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

seq2seq

2020-12-27 11:02:26  阅读:255  来源: 互联网

标签:seq2seq greedy blog https 原文 net


  1. Seq2seq的思想和应用

Encoder-decoder第一篇:Learning Phrase Representations using RNN Encoder-Decoder for Statis Machine Translation
Seq2seq:sequence to sequence Learning with Neural Networks
知识图谱增加可解释性:seq2seq interpretability knowledge graph

  1. Train(encoder) and test

  2. Decoder
    在任何的seq2seq模型中,都是串行的,之后的transformer解决了这个问题。

greedy decoder:在seq2seq中,串行*(greedy decoder),局部最优,达不到全局最优
Exhaustic Search:把所有的可能性考虑进来
Beam Search:只考虑最好的top k

Beam search在第二个阶段还进行了筛选,选概率值最大的beam_size
{Beam_size=1} =={greedy search}

1、NLP之Seq2Seq:
原文:https://blog.csdn.net/qq_32241189/article/details/81591456
2、深度学习的seq2seq模型:
原文:https://blog.csdn.net/wangyangzhizhou/article/details/77883152
3、Seq2Seq模型简介
原文:https://www.jianshu.com/p/1c6b1b0cd202
4、三分钟带你对 Softmax 划重点
原文:https://blog.csdn.net/red_stone1/article/details/80687921
https://www.jianshu.com/p/b2b95f945a98

标签:seq2seq,greedy,blog,https,原文,net
来源: https://www.cnblogs.com/Towerb/p/14196654.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有