标签：吴恩达 frac dL 第一章 神经网络 dz dw da

一、引言

1.什么是神经网络

Relu——rectified linear unit(修正线性单元)

2.各种类型的神经网络

1. SNN：标准神经网络，用于房价预测，在线广告是否点击
2. CNN：卷积神经网络，用于图像识别
3. RNN：循环神经网络，用于时间序列数据，语音识别
4. 混合神经网络

3.结构化数据和非结构化数据

4.神经网络与传统的监督学习

二、逻辑回归（二分类）

1.约定的符号

2.logistic 回归

在神经网络中， w w w和 b b b分开表示

3.logistic 回归的损失函数

为什么在逻辑回归中，损失函数不使用 L ( y ^ − y ) = 1 2 ( y ^ − y ) 2 L(\hat{y}-y)=\frac{1}{2}(\hat{y}-y)^2 L(y^​−y)=21​(y^​−y)2呢，因为在逻辑回归中,该损失函数是非凸的，有多个局部最优。

4.梯度下降法

（1）成本函数

（2）梯度下降法的原理

（3）单个训练样本的logistic回归的一次梯度更新

a.单个训练样本的损失函数

b.各参数的梯度

d a = d L d a = − y a + 1 − y 1 − a da=\frac{dL}{da}=-\frac{y}{a}+\frac{1-y}{1-a} da=dadL​=−ay​+1−a1−y​
d a d z = a ( 1 − a ) \frac{da}{dz}=a(1-a) dzda​=a(1−a)
d z = d L d z = d L d a d a d z = a − y dz=\frac{dL}{dz}=\frac{dL}{da}\frac{da}{dz} =a-y dz=dzdL​=dadL​dzda​=a−y
d z d w 1 = x 1 , d z d w 2 = x 2 , d z d b = 1 \frac{dz}{dw_1}=x_1,\frac{dz}{dw_2}=x_2,\frac{dz}{db}=1 dw1​dz​=x1​,dw2​dz​=x2​,dbdz​=1
d w 1 = d L d w 1 = d L d z d z d w 1 = x 1 ( a − y ) dw_1=\frac{dL}{dw_1}=\frac{dL}{dz}\frac{dz}{dw_1}=x_1(a-y) dw1​=dw1​dL​=dzdL​dw1​dz​=x1​(a−y)
d w 2 = d L d w 2 = d L d z d z d w 2 = x 2 ( a − y ) dw_2=\frac{dL}{dw_2}=\frac{dL}{dz}\frac{dz}{dw_2}=x_2(a-y) dw2​=dw2​dL​=dzdL​dw2​dz​=x2​(a−y)
d b = d L d b = d L d z d z d b = a − y db=\frac{dL}{db}=\frac{dL}{dz}\frac{dz}{db}=a-y db=dbdL​=dzdL​dbdz​=a−y

（4）m个训练样本的logistic回归的一次梯度更新

5.矩阵化表示

6.逻辑回归的向量化形式

7.python中的广播机制

8.python中如何定义数组

9.损失函数的解释

标签：吴恩达,frac,dL,第一章,神经网络,dz,dw,da
来源： https://blog.csdn.net/m0_45411005/article/details/117385969

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。