李宏毅机器学习系列-深度学习简介
深度学习的概况
深度学习从2012年的图像识别比赛开始就复苏了，发展越来越快，越来越好，具体他的发展历史可以百度下，可以追溯到很早时期，还有几个大起大落的阶段：
可以看看这些时间点的重要发展：
深度学习的步骤
那深度学习的步骤是怎么样的呢，其实跟我们前面说的机器学习差不多，就跟把大象放冰箱里的步骤差不多：
我们上次讲到了神经网络就是深度学习的重要部分，是由对个逻辑回归单元组合起来的：
前馈神经网络
先介绍下这个，其实就是前向传播，从输入计算到输出，输入的是向量，每个向量的每个特征都与后一层的每个神经元相连，通过激活函数计算输入，然后继续往后面的层输入，最后到输出层，是一个向量，比如图上的例子输入是[1,-1]，经过第一层的计算后，得到[0.98,0.12]，很明显经过了sigmoid的非线性作用：
那我们继续这样计算，知道计算到最后的输出：
那这整一个网络结构就可以看做是一个模型集合，输入是一个向量，输出也是一个向量：
全连接神经网络
我们来定义下这个网络,输入的向量也看做一层，叫做输入层，最后输出的向量叫输出层，中间的都叫隐藏层，每个层之间的神经网络都是相互连接的，所以叫做全连接神经网络:
所以深度学习的深度可以看做隐藏层的层数很多，所以看上去很深，比如经典的一些模型AlexNet，VGG，GoogleNet：
当然还有残差神经网络Residual Net：
其实神经网络的计算，我们可以用矩阵，这样就可以在GPU上计算，可以大大缩短时间，比如：
上面的值是一层，其实每一层都是这么计算的，计算出的结果向量又作为下一层的输入：
所以输出可以看成一个个sigmoid函数叠起来的结果，有点像递归调用啊：
通常我们把最后的输出层当做多分类器，中间的隐藏层其实就变成了特征提取器了：
数字识别分类
我们来举一个识别数字的例子：
我们希望输入一张数字的图片，输出是一个数字：
我们的输入是16x16像素的图，如果是填充颜色的就是1，没有就是0，因此有256个点也就是256个特征输入：
我们的输出是一个10维的向量，每一个维度代表一个数字的概率，取概率最大的为分类的数字，如下，2的概率有0.7，所以这个图片的数字被预测为2：
然后我们需要设计一些隐藏层来组成这个模型：
那么问题来了，隐藏层多少层好呢，每一层的神经元个数多少好呢，这个没有很准确的答案，很多的是根据经验试错和直觉得来的，也就是实际结果得出来的，当然也有让机器自动选择要多少层，另外网络的结构能不能变呢，可以的，可以用CNN或者RNN或者其他的：
接下来要定义模型的好坏了，我们拿真实的预测值和预测的值做交叉熵作为损失函数，为什么不用均方差前面一篇将过了，梯度为0的地方可能是远离最小点的：
于是我们拿很多的样本来进行训练，计算总的损失，我们希望损失越小越好，最小的损失的参数模型就是我们要找的：
那怎么样找出这个损失最小的模型呢，还是我们的梯度下降法：
其实这个过程就是反向传播，具体是用链式法则求导的，也就是一个计算梯度更新参数的过程，当然当参数很复杂的时候我们不可能手动去算，现在有很多的框架，当然下面列的可能是比较老的了，现在一般有keras，pytorch，tensorflow，mxnet等等：
至此，深度学习怎么训练最基本的步骤讲完了。
总结
本篇简单介绍了深度学习的基本框架，介绍全连接神经网络的架构，介绍了前向传播和反向传播，思维导图：
好了，今天就到这里了，希望对学习理解有帮助，大神看见勿喷，仅为自己的学习理解，能力有限，请多包涵，图片来自李宏毅课件，侵删。
标签：输出,李宏毅,学习,神经网络,向量,简介,深度,输入 来源： https://blog.csdn.net/wangwei19871103/article/details/99675982
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。