转载自CSDN：https://blog.csdn.net/u013679159/article/details/104209344
本篇文章来自于Number of Parameters and Tensor Sizes in a Convolutional Neural Network (CNN)，感谢原作者的详细讲解。本人增加一些白话进行补充说明，高手请绕行。~-~
在这篇文章中，我们分享了一些公式来计算张量（图像）的大小和卷积神经网络（CNN）中每一层的参数个数。 此帖子不定义CNN中使用的基本术语，并假定您熟悉它们。在这篇文章中，Tensor一词仅仅是指具有任意数量通道的图像。 我们将以AlexNet为例展示计算结果。因此，这里是AlexNet的架构，供参考。
AlexNet有以下几层
1、输入层：大小为227x227x3的彩色图像。AlexNet的论文提到了224×224的输入大小，但这是论文中的一个书写错误。
2、卷积层1：由96个尺寸为11×11的卷积核组成，步长为4，填充为0。
3、最大池化层1：由3×3和步长2组成。
4、卷积层2：由256个大小为5×5的卷积核组成，步长为1，填充为2。
5、最大池化层2：由3×3和步长2组成。
6、卷积层3：由384个大小为3×3的卷积核组成，步长为1，填充为1。
7、卷积层4：卷积层4与卷积层3具有相同的结构。它由384个大小为3×3的内核组成，步长为1，填充为1。
8、卷积层5：由256个大小为3×3的内核组成，步长为1，填充为1。
9、最大池化层3：由3×3和步长2组成。
10、全连接层1：第一个完全连接层有4096个神经元。
11、全连接层2：第二个完全连接层有4096个神经元。
12、全连接层3：第三个完全连接层有1000个神经元。
接下来，我们将用上面的架构来解释
1、如何计算每个阶段的张量大小
2、如何计算网络中的参数总数
卷积层输出张量（图像）的大小
我们来定义一下
$O$ = 输出图像的大小（此处指宽度）
$I$ = 输入图像的大小（此处指宽度）。
$K$ = 卷积层中使用的卷积核的大小（此处指宽度）。
$N$ = 卷积核个数。
$S$ = 卷积运算的步长。
$P$ = 填充个数。
输出图像的大小（O）由下式确定：$$O = \frac{I - K + 2P}{S} + 1$$
输出图像中的通道数等于该卷积层的卷积核个数N。
示例：
在AlexNet中，输入图像的大小为227x227x3。即宽为227，高为227，通道数为3。卷积层1有96个卷积核，每个卷积核的大小为11x11x3，步长为4，填充为0。因此，在卷积层1之后输出图像的大小（此处指宽度）是$$O = \frac{227 - 11 + 2 \times 0}{4} + 1 = 55$$
因此，输出图像的大小为55x55x96（每个卷积核生成一个通道）。 请读者使用上述图像作为指南来验证卷积层2、卷积层3、卷积层4和卷积层5的输出图像的大小。
Max Pool层输出张量（图像）的大小
我们来定义一下
$O$ = 输出图像的大小（此处指宽度）。
$I$ = 输入图像的大小（此处指宽度）。
$S$ = 卷积运算的步长。
$P_s$ = 池大小。
输出图像的大小（O）由下式确定$$O = \frac{I - P_s}{S} + 1$$
请注意，该公式可由上一节中卷积层输出图像大小的计算公式获得，只要使填充等于零，并且与卷积核大小K相同即可。但与卷积层不同的是，最大池化层输出的通道数不变。
例如：在AlexNet中，卷积层1之后的最大池化层的池大小为3，步长为2。我们从上一节中知道，这个阶段的图像是55x55x96。最大池化层1之后的输出图像大小（此处指宽度）$$O = \frac{55 - 3}{2} + 1 = 27$$
因此，输出图像的大小为27x27x96。 我们留给读者来验证最大池化层2和最大池化层3输出的大小。
完全连接层输出的大小
一个完全连接层输出一个向量，该向量长度（向量的元素个数）等于层中的神经元个数。
总结：AlexNet各个层的张量大小 （即每个层的神经元个数）
在AlexNet中，输入是一个大小为227x227x3的图像。在卷积层1之后，将变为为55x55x96的大小，在最大池化层1之后转换为27x27x96。在卷积层2之后，大小更改为27x27x256，并在最大池化层2之后更改为13x13x256。之后卷积层3将其转换为大小为13x13x384，而卷积层4则保持大小不变，卷积层5将更改大小为27x27x256。最后，最大池化层3将尺寸缩小到6x6x256。该图像输入全连接层1，将其转换为大小为4096×1的向量，接下来经过全连接层2，尺寸保持不变，最后，经过全连接层3之后的尺寸为1000×1。 接下来，我们要计算每个卷积层中的参数个数。
卷积层的参数个数
在CNN中，每一层都有两种参数：权重和偏差。参数的总数只是所有权重和偏差的总和。
我们来定义一下：
$W_c$ = Conv层的权重个数
$B_c$ = Conv层的偏差个数
$P_c$ = Conv层的参数个数
$K$ = 卷积层中使用的卷积核的大小（此处指宽度）
$N$ = 卷积核个数
$C$ = 该层输入图像的通道数
$$\begin{align} W_c &= K^2 \times C \times N \\ B_c &= N \\ P_c &= W_c + B_c \end{align}$$
在卷积层中，每个卷积核的深度总是等于输入图像中的通道数。所以每个卷积核都有$K^2 \times C$个参数，并且有$N$个这样的卷积核。这就是我们得出上述公式的方法。
例如：在AlexNet中，在卷积层1中，输入图像的通道数（$C$）为3，卷积核大小（$K$）为11，卷积核数（$N$）为96。所以参数的个数是：$$\begin{align} W_c &= 11^2 \times 3 \times 96 = 34,848 \\ B_c &= 96 \\ P_c &= 34,848 + 96 = 34,944 \end{align}$$
读者可以验证卷积层2、卷积层3、卷积层4、卷积层5的参数个数分别为614656、885120、1327488和884992。因此，卷积层的参数总数为3747200。你认为这是一个很大的数字？好吧，等到我们看到完全连接层，你就不会这么想了。卷积层的好处之一是，权重是共享的，因此我们的参数比我们在完全连接层的情况下要少的多。所谓权重共享的意思是，卷积层的输出结果中的每个通道由一个卷积核（仅1个）经过卷积运算获得，以卷积层1为例，它的输出为55*55*96，即共有96个通道，每个通道大小为55*55，具体到其中任意一个通道，比如第一个通道C1，由55*55个点组成，它是如何得到的呢？就是由相应的1号卷积核对输入图像（227*227*3）进行一次卷积运算得到的，生成的55*55里面的每个点所使用的权重参数都是这个1号卷积核，这就叫权重共享。
最大池化层的参数个数
没有与最大池化层相关联的参数。池的大小、步长和填充都是超参数。
全连接（FC）层的参数个数
在CNN中有两种完全连接的层。第一种是该全连接层的前面连接着最后一个卷积层，第二种是该全连接层的前面连接着其他全连接层。让我们分别考虑每一种情况。
情况1：前面连接着卷积层的全连接（FC）层的参数个数
我们来定义一下：
$W_{cf}$ = 连接到卷积层的全连接层的权重个数。
$B_{cf}$ = 连接到卷积层的全连接层的偏差个数。
$O$ = 前一个卷积层的输出图像的大小（宽度）。
$N$ = 前一个卷积层中的卷积核个数。
$F$ = 全连接层中的神经元个数。
$$\begin{align} W_{cf} &= O^2 \times N \times F \\ B_{cf} &= F \\ P_{cf} &= W_{cf} + B_{cf} \end{align}$$
示例：AlexNet的第一个全连接层连接到卷积层。对于这一层，$O = 6, N = 256, F = 4096$。因此，$$\begin{align} W_{cf} &= 6^2 \times 256 \times 4096 = 37,748,736 \\ B_{cf} &= 4096 \\ P_{cf} &= W_{cf} + B_{cf} = 37,752,832 \end{align}$$
这一层的参数个数比所有卷积层的参数个数总和还要多！
情况2：前面连接着其它全连接层的全连接（FC）层的参数个数
我们来定义一下：
$W_{ff}$ = 全连接层的权数。
$B_{ff}$ = 全连接层的偏差数。
$P_{ff}$ = 全连接层的参数数目。
$F$ = 全连接层中的神经元数。
$F_{-1}$ = 前一个全连接层中的神经元数。
$$\begin{align} W_{ff} &= F_{-1} \times F \\ B_{ff} &= F \\ P_{ff} &= W_{ff} + B_{ff}\end{align}$$
在上述公式中，$F_{-1} \times F$是前一个全连接层到本全连接层的权重总数。偏差总数与本全连接层的神经元数（$F$）相同。
示例：AlexNet的最后一个全连接层连接到全连接层。对于这一层，$F_{-1} = 4096, F = 1000$。因此，$$\begin{align} W_{ff} &= 4096 \times 1000 = 4,096,000 \\ B_{ff} &= 1,000 \\ P_{ff} &= W_{ff} + B_{ff} = 4,097,000\end{align}$$
我们留给读者来验证AlexNet中全连接层2的参数总数为$16,781,312$。
AlexNet中参数和张量大小（神经元个数）的数目
在AlexNet中的参数总数是5个卷积层加3个全连接层中所有参数的总和。结果竟然是$62,378,344$！下表为摘要。
| Layer Name | Tensor Size | Weights | Biases | Parameters |
|---|---|---|---|---|
| Input Image | 227x227x3 | 0 | 0 | 0 |
| Conv-1 | 55x55x96 | 34,848 | 96 | 34,944 |
| MaxPool-1 | 27x27x96 | 0 | 0 | 0 |
| Conv-2 | 27x27x256 | 614,400 | 256 | 614,656 |
| MaxPool-2 | 13x13x256 | 0 | 0 | 0 |
| Conv-3 | 13x13x384 | 884,736 | 384 | 885,120 |
| Conv-4 | 13x13x384 | 1,327,104 | 384 | 1,327,488 |
| Conv-5 | 13x13x256 | 884,736 | 256 | 884,992 |
| MaxPool-3 | 6x6x256 | 0 | 0 | 0 |
| FC-1 | 4096×1 | 37,748,736 | 4,096 | 37,752,832 |
| FC-2 | 4096×1 | 16,777,216 | 4,096 | 16,781,312 |
| FC-3 | 1000×1 | 4,096,000 | 1,000 | 4,097,000 |
| Output | 1000×1 | 0 | 0 | 0 |
| Total | 62,378,344 |
标签：为例,卷积,个数,大小,参数,图像,CNN,连接 来源： https://www.cnblogs.com/MinPage/p/14088826.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。