标签：features nn self torch 几种 init 构建 net linear

1. 模型构建

1.1 继承nn.Module

该方法是最常用的方法，一个nn.Module应该包含一些层及返回前向传播方法的输出值

from torch import nn
class LinearNet(nn.Module):
    def __init__(self, n_feature):
        super(LinearNet, self).__init__()
        self.linear = nn.Linear(n_feature, 1)

    def forward(self, x):
        y = self.linear(x)
        return y

net = LinearNet(num_inputs)
# 打印网络结构
print(net)

输出

LinearNet(
  (linear): Linear(in_features=2, out_features=1, bias=True)
)

查看nn.Linear源码，最重要的两部分如下：

    def __init__(self, in_features: int, out_features: int, bias: bool = True) -> None:
        super(Linear, self).__init__()
        self.in_features = in_features
        self.out_features = out_features
        self.weight = Parameter(torch.Tensor(out_features, in_features))
        if bias:
            self.bias = Parameter(torch.Tensor(out_features))
        else:
            self.register_parameter('bias', None)
        self.reset_parameters()

    def forward(self, input: Tensor) -> Tensor:
        return F.linear(input, self.weight, self.bias)

从源码中可以看出，我们输入的是【输入特征维数】和【输出特征维数】对应代码self.linear = nn.Linear(n_feature, 1)，然后根据这两个维数在__init__函数中初始化权重参数和偏置权重，最后在前向函数中将我们的输入与权重矩阵做乘法得到输出。

1.2 使用nn.Sequential()方法

该方法有以下几种方式：
方式1

net = nn.Sequential(nn.Linear(num_inputs, 1)
                    # 还可添加其他层
                    )

方式2

net = nn.Sequential()
net.add_module("linear", nn.Linear(num_inputs, 1))
# net.add_module...继续添加模块

方式3

from collections import OrderedDict
net = nn.Sequential(OrderedDict([("linear", nn.Linear(num_inputs, 1))
                                 # (....)
                                 ]))

2. 初始化模型参数

在构建模型中，有时模型参数不需要初始化，因为很多都已经随机初始化过了，如果想重新初始化成一定的分布，可以按照如下方式进行：

from torch.nn import init
# 对于1.1中继承nn.Module的方式，按如下方式初始化
init.normal_(net.linear.weight, mean=0, std=0.01)
init.constant_(net.linear.bias, val=0)

# 对于1.2中使用nn.Sequential(),按如下方式
init.normal_(net[0].weight, mean=0, std=0)
init.constant_(net[0].bias, val=0)

想要打印训练后的参数值和上面的方法类似

print("weight:", net.linear.weight)

标签：features,nn,self,torch,几种,init,构建,net,linear
来源： https://blog.csdn.net/orangerfun/article/details/116230104

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。