标签：kernel tensor kaiming dimensions fan xavier out size

原文地址：

https://www.cnblogs.com/liuzhan709/p/10092679.html

=======================================================

xavier初始化出自论文Understanding the difficulty of training deep feedforward neural network, 论文讨论的是全连接神经网络，fan_in指第i层神经元个数，fan_out指第i+1层神经元个数，但是我们的卷积神经网路是局部连接的，此时的fan_in，fan_out是什么意思呢。

在pytorch中：

fan_in指    kernel_height x kernel_width x in_channel     。

fan_out指 kernel_height x kernel_width x out_channel   。

从局部连接的过程来看似乎并不十分合理，卷积神经网络的局部连接在感受野内仍然是全连接。fan_in=kh x kw x in_channel没什么疑问，但是fan_out应该等于out_channel更合理啊。待解答。

code，来自pytorch实现

def _calculate_fan_in_and_fan_out(tensor):
    dimensions = tensor.ndimension()
    if dimensions < 2:
        raise ValueError("Fan in and fan out can not be computed for tensor with fewer than 2 dimensions")

    if dimensions == 2:  # Linear
        fan_in = tensor.size(1)
        fan_out = tensor.size(0)
    else:
        num_input_fmaps = tensor.size(1)
        num_output_fmaps = tensor.size(0)
        receptive_field_size = 1
        if tensor.dim() > 2:
            receptive_field_size = tensor[0][0].numel()
        fan_in = num_input_fmaps * receptive_field_size
        fan_out = num_output_fmaps * receptive_field_size

    return fan_in, fan_out

==============================================

标签：kernel,tensor,kaiming,dimensions,fan,xavier,out,size
来源： https://www.cnblogs.com/devilmaycry812839668/p/16074429.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。