`nn.ModuleList`和普通list的区别

2022-02-09 13:01:45 阅读：225 来源： 互联网

标签：nn self list 64 模块 ModuleList Conv2d

ModuleList是特殊的list，其包含的模块会被自动注册，对所有的Module方法都可见。先给结论：如果要用列表组织模型模块，那么强烈建议使用nn.ModuleList。这有什么好处呢？看下面的例子。

import torch.nn as nn
from torchsummary import summary


class MyNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.net = [
            nn.Conv2d(3, 64, 3, padding='same'),
            nn.Conv2d(64, 64, 3, padding='same'),
            nn.Conv2d(64, 64, 3, padding='same')
        ]
        
        self.conv = nn.Conv2d(64, 64, 3, padding='same')
    def forward(self, x):
        for net_ in self.net:
            x = net_(x)
        out = self.conv(x)
        return x

model = MyNet()
print(summary(model, (3, 224, 224)))

MyNet的部分模块包含在list中，使用torchsummary模块中的summary方法查看模型结构，得到输出如下：

----------------------------------------------------------------
        Layer (type)               Output Shape         Param #
================================================================
            Conv2d-1         [-1, 64, 224, 224]          36,928
================================================================
Total params: 36,928
Trainable params: 36,928
Non-trainable params: 0
----------------------------------------------------------------
Input size (MB): 0.57
Forward/backward pass size (MB): 24.50
Params size (MB): 0.14
Estimated Total Size (MB): 25.22
----------------------------------------------------------------

可以看到，包含在list中的模块无法被展示出来，而将list替换为ModuleList则可以解决这个问题。

就这？就这？？这有啥用，我不用torchsummary这个模块不就行了[doge]！

当然不是。torchsummary.summary()方法失效只是问题现象，根本原因在于list中的模块未能和模型很紧密的绑定在一起，模型压根就不知道这里面模块的存在！当使用model.to(device)时会带来很严重的错误。看下面这段代码，由于网络不知道list中模块的存在，所以当移动模型位置（例如从cpu到gpu时），list中的模块会被略掉，这样当前向传播计算时会因为Tensor不在同一个设备上而出错。

print(model.to('cpu'))

"""output
MyNet(
  (conv): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=same)
)
"""

标签：nn,self,list,64,模块,ModuleList,Conv2d
来源： https://www.cnblogs.com/js2hou/p/15874535.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

`nn.ModuleList`和普通list的区别