标签：周志华 梯度 模型 DAY5 算法 MACHINE 神经网络 BP 神经元
5.1 神经元模型
神经网络是由具有适应性的简单单元组成的广泛并联互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应.
神经网络中最基本的成分是神经元模型.在生物神经网络中,每个神经元与其它神经元相连,当它兴奋时,就会向相连的神经元发送化学物质.
M-P神经元模型
M-P神经元模型
在M-P神经元模型中,神经元接收到来自n个其它神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元接收到的总输入将于神经元的阈值进行比较,然后通过激活函数(activation function)处理以产生神经元的输出.
Sigmoid激活函数
常用的激活函数为sigmoid,典型的sigmoid函数如下图所示.
5.2 感知机和多层网络
感知机由两层神经元组成,如下图所示,输入层接收外界输入信号后传递给输出层,输出层是M-P神经元,亦称"阈值逻辑单元".
需注意的是,感知机只有输出层神经元进行激活函数处理,即只拥有一层功能神经单元,其学习能力非常有限.
要解决非现象可分问题,需考虑使用多层功能神经元.一般的,常见的神经网络是下图所示的层级结构,每层神经元与下一层神经元全互联,神经元之间不存在同层连接,也不存在跨层连接.这样的神经网络通常称为多层前馈神经网络(multi-layer feedforward neural networks).
5.3 误差传播算法
多层网络的学习能力比单层感知机强得多.欲训练多层网络,需要更强大的学习算法.误差逆传播(error BackPropagation,简称BP)算法就是其中最杰出的代表.现实任务中使用神经网络时,大多是在使用BP算法进行训练.通常说"BP网络"时,一般是指用BP算法训练的多层前馈神经网络.
BP算法工作流程
对每个训练样例,BP算法执行以下操作.
先将输入示例提供给输入层神经元,然后逐层将信号前传,直到产生输出层的结果
然后计算输出层的误差,再将误差逆向传播至隐层神经单元
最后根据隐层神经元的误差来对连接权和阈值进行调整
该迭代过程循环进行,直到达到某些停止条件为止
在(0,1)范围内随机初始化网络中所有连接权和阈值
repeat:
for all(x_k,y_k) in D do
根据当前参数和公式0计算当前样本的输出y^k;
计算输出层神经元的梯度g_j;
计算隐层神经元的梯度e_h;
更新连接权w_hj,v_ih及阈值theta_j,gamma_h
end for
until 达到停止条件(训练误差达到设定值或训练次数达到设定值)
5.4 全局最小和局部最小
如果误差函数具有多个局部极小,则不能保证找到的解是全局最小,我们称参数寻优陷入了局部极小.
在现实任务中,人们常采用以下策略来试图跳出局部极小,从而进一步接近全局最小.
以多组不同参数值初始化多个神经网络,按标准方法训练后,取其中误差最小的解作为最终参数.这相当于同多个不同的初始点开始搜索,这样就可能陷入不同的局部极小,从中选择有可能获得更接近全局最小的结果.
使用"模拟退火"技术.模拟退火在每一步都以一定的概率接受比当前解更差的结果,从而有助于跳出局部极小.在每步迭代过程中,接受次优解的概率要随着时间的推移而逐渐降低,从而保证算法稳定.
使用随机梯度下降.与标准梯度下降法精确计算梯度不同,随机梯度下降法在计算梯度时加入了随机因素.于是,即便陷入局部极小点,它计算出的梯度仍可能不为零,这样就有机会跳出局部极小继续搜索.
5.5 其他常见的神经网络
有RAF，ART，SOM，级联神经网络，Elman网络，就不一一详细讲解了哈
5.6 深度学习
理论上来说，参数越多的模型复杂度越高，”容量“（capacity）越大，这意味着他能完成更复杂的学习任务，但一般情况下，复杂模型的训练效率低，易陷入过拟合，因此难以受到人们青睐。而随着云计算，大数据时代的到来，计算能力的大福提高可缓解训练低效性，训练数据的大幅度增加则可降低过拟合风险，因此，以深度学习（DL）为代表的复杂模型开始受到人们的关注。
典型的深度学习模型就是很深层的神经网络，显然，对神经网络模型，提高容量的一个简单方法就是增加隐层的数目。
今天就更新到这哈，感觉像是期刊哈哈，就是质量不高！！
标签：周志华,梯度,模型,DAY5,算法,MACHINE,神经网络,BP,神经元 来源： https://blog.51cto.com/u_14013325/2899739
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。