标签：Training Feedback Neural SNN 脉冲 Spiking MNIST

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

35th Conference on Neural Information Processing Systems (NeurIPS 2021).

 

Abstract

　　脉冲神经网络(SNN)是受大脑启发的模型，可在神经形态硬件上实现节能实现。然而，由于脉冲神经元模型的不连续性，SNN的监督训练仍然是一个难题。大多数现有方法模仿人工神经网络的反向传播框架和前馈架构，并使用替代导数或计算关于脉冲时间的梯度来处理问题。这些方法要么累积近似误差，要么仅通过现有脉冲有限地传播信息，并且通常需要沿时间步长传播信息，并且具有较大的内存成本和生物学不合理性。在这项工作中，我们考虑了更像大脑的反馈脉冲神经网络，并提出了一种新的训练方法，它不依赖于前向计算的精确反向。首先，我们表明具有反馈连接的SNN的平均发放率会随着时间逐渐演化到平衡状态，这遵循一个定点方程。然后通过将反馈SNN的前向计算视为该方程的黑盒求解器，并利用方程的隐式微分，我们可以计算参数的梯度，而无需考虑精确的前向过程。通过这种方式，前向和后向过程是解耦的，因此避免了不可微的脉冲函数的问题。我们还简要讨论了隐微分的生物学合理性，它只需要计算另一个平衡。在MNIST、Fashion-MNIST、N-MNIST、CIFAR-10和CIFAR-100上的大量实验证明了我们的方法在少量时间步长内具有较少神经元和参数的反馈模型的卓越性能。我们的代码可从https://github.com/pkuxmq/IDE-FSNN获得。

 

1 Introduction

 

2 Related Work

 

3 Preliminaries

3.1 Spiking Neural Network Models

 

3.2 Implicit Differentiation on the Fixed-Point Equation

 

4 Proposed IDE Method

 

4.1 Derivation of Equilibrium States for Feedback Spiking Neural Networks

 

4.1.1 Continuous View

 

4.1.2 Discrete View

 

4.2 Training of Feedback Spiking Neural Networks

 

4.2.1 Loss and Gradient Computation

 

4.2.2 Biological Plausibility of Implicit Differentiation

 

4.3 Incorporating Multi-layer Structure into The Feedback Model

 

5 Experiments

 

5.1 MNIST and Fashion-MNIST

 

5.2 N-MNIST

 

5.3 CIFAR-10 and CIFAR-100

 

5.4 Convergence to the Equilibrium

 

5.5 Training Memory Costs

 

5.6 Firing Sparsity

 

6 Conclusion

 

标签：Training,Feedback,Neural,SNN,脉冲,Spiking,MNIST
来源： https://www.cnblogs.com/lucifer1997/p/15752244.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。