ANN到SNN神经元替换
作者:Peter U. Diehl,Daniel Neil, Jonathan Binas,Matthew Cook,Shih-Chii Liu and Michael Pfeiffer
会议:IJCNN2015
原文链接:paper
代码:https://github.com/dannyneil/spiking_relu_conversion
引用:https://blog.csdn.net/ly18846826264/article/details/108202581
为什么要norm的一点儿理解
传统的神经元可以输出连续值,所以每个神经元之间的输入和输出的值可取的范围很广。
但是脉冲的表示是二进制的,中间就需要一个normalize的过程
如果按照数值大小来转换SNN的话可能存在数值过大导致神经元一直**的情景。
实际的生物神经元并不会出现一直**的情况,所以需要Norm。
Norm 方式
-
Model-based
不使用数据集,针对每层的神经元连接的和找最大,也就是假设所有的输入同时有脉冲进来。
然后用每个神经元的连接数/这个最大值
-
Data-based
在训练数据集中寻找最大值,对权重进行缩放。