ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

循环神经网络层

2021-04-15 19:02:56  阅读:211  来源: 互联网

标签:语境 卷积 Train 网络层 h5 循环 神经 RecapSentiment more


目录

  • Recap
  • Sentiment Analysis
    • Proposal
  • S1.Weight sharing
    • Naive version
    • Weight share
  • S2.Consistent memory
  • Unfolded model
  • Formulation
  • Overall Diagram
  • One more thing
  • How to Train?


Recap

42-循环神经网络层-回顾.jpg

Sentiment Analysis

42-循环神经网络层-情感分析.jpg

Proposal

42-循环神经网络层-情感分析建议.jpg

  • Long sentence

    • 100 + words
    • too much parameters[\(w_N,b_N\)]
  • No context information

    • consistent tensor

S1.Weight sharing

  • 类似于卷积的卷积核,卷积视野,权重分享

42-循环神经网络层-分享.jpg

Naive version

42-循环神经网络层-情感分析建议.jpg

Weight share

  • 权重分享

42-循环神经网络层-权重分享.jpg

S2.Consistent memory

  • 需要一个东西存储语境,也就是每个单词的语境信息

42-循环神经网络层-容器.jpg

  • 不断地对语境信息进行堆叠得到h5,直接使用h5作为判断标准

42-循环神经网络层-内存分享.jpg

Unfolded model

42-循环神经网络层-语境叠加.jpg

  • 在时间轴上折叠,不断地更新h

42-循环神经网络层-折叠.jpg

Formulation

  • 通过激活函数tanh不断地叠加上个时间戳的信息

42-循环神经网络层-数学公式.jpg

Overall Diagram

  • 全览分解图

42-循环神经网络层-全览分解.jpg

One more thing

42-循环神经网络层-梯度.jpg

How to Train?

42-循环神经网络层-训练.jpg

标签:语境,卷积,Train,网络层,h5,循环,神经,RecapSentiment,more
来源: https://blog.51cto.com/u_13804357/2709171

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有