标签：吴恩达 函数 sigmoid 梯度 L1W1 ReLU 学习 神经网络

1.2 什么是神经网络

卷积神经网络（CNN）——图像

循环神经网络（RNN）,全称是长短期记忆网络（LSTM）——自然语言处理（NLP）

ReLU 函数

线性整流函数（Linear rectification function），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

通常意义下，线性整流函数指代数学中的斜坡函数，即\(f(x)=max(0,x)\)

在深度学习中，我们将机器学习中预测的参数称为特征，也就是对特征参数进行一系列数学运算，来得到预测结果。对于一个房子价格来说，它的大小，卧室数量，邮政编码（位置），富裕程度都可以成为影响其房价的特征。

在图上每一个画的小圆圈都可以是 ReLU 的一部分，也就是指修正线性单元，或者其 它稍微非线性的函数。基于房屋面积和卧室数量，可以估算家庭人口，基于邮编，可以估 测步行化程度或者学校的质量。

而像这样的，就是一个简单的神经网络，而对于这个来说，神经网络有三层，蓝框有数据的那一层成为“输入层”，中间三个圆圈成为“隐藏层”，最后则为输出层。

1.3 用神经网络进行监督学习

https://zhuanlan.zhihu.com/p/159305118

1.4 为什么深度学习会兴起？

神经网络方面的一个巨大突破是从 sigmoid 函数转换到一个 ReLU 函数

在负值区域，sigmoid函数的梯度会接近0，学习的速度慢（梯度下降参数更新慢）

sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度弥散，而relu函数在大于0的部分梯度为常数，所以不会产生梯度弥散现象。第二，relu函数在负半区的导数为0 ，所以一旦神经元激活值进入负半区，那么梯度就会为0，也就是说这个神经元不会经历训练，即所谓的稀疏性。第三，relu函数的导数计算更快，程序实现就是一个if-else语句，而sigmoid函数要进行浮点四则运算。

标签：吴恩达,函数,sigmoid,梯度,L1W1,ReLU,学习,神经网络
来源： https://www.cnblogs.com/melodit/p/16244164.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。