bp神经网络
先来了解一下什么是神经网络一个神经网络包含:输入层(输入特征个数)、隐藏层(个数不限制)、输出层(类别)、权重(重要程度)、偏执/阈值(有偏执率)
其中还要加上偏执,sgn是激活函数,它是为了防止结果值太大,把结果缩小到一定的范围内。这样得到的结果可能还不太准确,和真实值会有误差,于是我们用最小误差值倒推w,这个思想叫训练也叫bp神经网络
BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。
bp算法一个实际应用
其中
是步长
其中
代替
问题
oj是sigmoid的输出它小于1,1-oj也小于1,相乘肯定小于1,可以推算出小于1/4,
从深层到浅层,每一层都有乘一个小于1的值,当返回到输入层时,它的梯度几乎无效了
标签:小于,偏执,算法,神经网络,BP,bp,输入 来源: https://blog.csdn.net/weixin_44517301/article/details/89293197
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。