本文转自:https://blog.csdn.net/hduxiejun/article/details/70570086

1.侧抑制(lateral inhibition)

LRN-局部响应归一化的理解

2.计算公式

Hinton在2012年的Alexnet网络中给出其具体的计算公式如下:

LRN-局部响应归一化的理解

公式看上去比较复杂,但理解起来非常简单。i表示第i个核在位置(x,y)运用**函数ReLU后的输出,n是同一位置上临近的kernal map的数目,N是kernal的总数。参数K,n,alpha,belta都是超参数,一般设置k=2,n=5,aloha=1*e-4,beta=0.75。

LRN-局部响应归一化的理解

3.后期争议

在2015年 Very Deep Convolutional Networks for Large-Scale Image Recognition.提到LRN基本没什么用。

LRN-局部响应归一化的理解

在Alexnet模型中首次提出这个概念。
参考文献:

[LRN]:ImageNet Classification with Deep Convolutional Neural Networks

相关文章:

  • 2021-06-02
  • 2021-10-29
  • 2022-12-23
  • 2021-04-26
  • 2022-12-23
  • 2021-12-15
  • 2022-12-23
  • 2021-04-15
猜你喜欢
  • 2021-06-06
  • 2022-12-23
  • 2021-08-02
  • 2021-09-01
  • 2021-06-11
  • 2021-06-29
  • 2021-08-03
相关资源
相似解决方案