标签：1.4 DL 流程 db 传播 神经网络 反向 深度 正向
1.深度神经网络
1.1 基本概念
定义： 与浅层神经网络类似，在其基础上增加隐藏层数量，是由多个隐藏层构成的神经网络
1.2 深度神经网络的表示
其表示方法与浅层神经网络完全一致，只是层数增多
1.2.1 单输入
数学表示
- 输入层： a [ 0 ] = x a^{[0]}=x a[0]=x
- 隐藏层：
a
[
l
]
=
g
(
z
[
l
]
)
,
l
∈
[
1
,
3
]
a^{[l]}=g(z^{[l]}),l\in [1,3]
a[l]=g(z[l]),l∈[1,3]
z [ l ] = w [ l ] ⋅ x + b , l ∈ [ 1 , 3 ] z^{[l]}=w^{[l]}\cdot x+b,l\in [1,3] z[l]=w[l]⋅x+b,l∈[1,3] - 输出层： y ^ = a [ 4 ] = g ( z [ 4 ] ) \hat y =a^{[4]}=g(z^{[4]}) y^=a[4]=g(z[4])
各层维度
- w [ l ] : ( n [ l ] , n [ l − 1 ] ) w^{[l]}:(n^{[l]},n^{[l-1]}) w[l]:(n[l],n[l−1])
- b [ l ] : ( n [ l ] , 1 ) b^{[l]}:(n^{[l]},1) b[l]:(n[l],1)
- d w [ l ] : ( n [ l ] , n [ l − 1 ] ) dw^{[l]}:(n^{[l]},n^{[l-1]}) dw[l]:(n[l],n[l−1])
-
d
b
[
l
]
:
(
n
[
l
]
,
1
)
db^{[l]}:(n^{[l]},1)
db[l]:(n[l],1)
1.2.2 多输入(向量化表示)
数学表示
- 输入层： A [ 0 ] = X A^{[0]}=X A[0]=X
- 隐藏层：
A
[
l
]
=
g
(
Z
[
l
]
)
A^{[l]}=g(Z^{[l]})
A[l]=g(Z[l])
Z [ l ] = W [ l ] ⋅ X + b [ l ] Z^{[l]}=W^{[l]}\cdot X+b^{[l]} Z[l]=W[l]⋅X+b[l] - 输出层： y ^ = A [ 4 ] = g ( Z [ 4 ] ) \hat y = A^{[4]}=g(Z^{[4]}) y^=A[4]=g(Z[4])
各层维度
- Z [ l ] : ( n [ l ] , 1 ) Z^{[l]}:(n^{[l]},1) Z[l]:(n[l],1)
- A [ l ] : ( n [ l ] , 1 ) A^{[l]}:(n^{[l]},1) A[l]:(n[l],1)
- W [ l ] : ( n [ l ] , n [ l − 1 ] ) W^{[l]}:(n^{[l]},n^{[l-1]}) W[l]:(n[l],n[l−1])
- b [ l ] : ( n [ l ] , 1 ) b^{[l]}:(n^{[l]},1) b[l]:(n[l],1)
- d W [ l ] : ( n [ l ] , n [ l − 1 ] ) dW^{[l]}:(n^{[l]},n^{[l-1]}) dW[l]:(n[l],n[l−1])
-
d
b
[
l
]
:
(
n
[
l
]
,
1
)
db^{[l]}:(n^{[l]},1)
db[l]:(n[l],1)
1.3 深度神经网络的优势
(1)解构特征：
深度神经网络能够逐层解构特征，逐层分解问题，将复杂问题分解成多个基本问题，进而提高学习能力和理解能力
(2)符合电路理论：空间复杂度低
深层网络可构成类似二叉树的结构，只需要较少神经元就能处理复杂问题，其空间复杂度为
O
(
l
o
g
n
)
O(logn)
O(logn)
若使用浅层神经网络，要达到同样的效果则需要的神经元成指数增加，其空间复杂度为
O
(
2
n
)
O(2^n)
O(2n)
电路理论(选修)：
2.正向传播与反向传播
2.1 正向传播
其流程与浅层神经网络一致，只需逐层计算即可
注意： 在正向传播过程，要将中间结果
z
[
l
]
、
w
[
l
]
、
b
[
l
]
z^{[l]}、w^{[l]}、b^{[l]}
z[l]、w[l]、b[l]进行缓存，在反向传播时使用
整体流程：
具体计算过程：
2.2 反向传播
整体流程：
具体计算过程(选修)：
2.3 完整流程
一次完整流程 = 正向传播 + 反向传播
整体流程：
一次正向传播+反向传播：
总结：
3.参数与超参数
3.1 参数
定义： 神经元内部的权重，即模型想通过训练学习到的信息，会随着训练进行而不断改变。
即
W
[
l
]
、
b
[
l
]
W^{[l]}、b^{[l]}
W[l]、b[l]
3.2 超参数
定义： 用来控制模型或训练过程的外部参数，通常是人为规定的，不会随训练过程改变。
常见超参数：
- 学习率：
α
\alpha
α
- 迭代次数：
N
N
N
- 隐藏层的层数：
L
L
L
- 每一层的神经元个数：
n
1
,
n
2
,
.
.
,
n
L
n^1,n^2,..,n^L
n1,n2,..,nL
- 激活函数：sigmoid、tanh、ReLU…
标签：1.4,DL,流程,db,传播,神经网络,反向,深度,正向 来源： https://blog.csdn.net/weixin_43093481/article/details/120253220
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。