BN层的作用
BN层位于**函数之前,它先对数据进行标准化,在进行缩放和平移。
标准化是防止数据达到饱和(即**值分布在大部分都接近0或1),这样会使数据对**函数不敏感。
而缩放平移是为神经网络学会,在标准化效果好时,尽量不抵消标准化的作用,而在标准化效果不好时,尽量去抵消一部分标准化的效果,相当于让神经网络学会要不要标准化,如何折中选择。
总之,BN层就是为了让让每一层的值在一个有效范围内传递下去。(这跟用xavier初始化网络参数的目的非常相似)

相关文章:

  • 2021-12-28
  • 2021-05-02
  • 2021-12-18
  • 2021-12-19
  • 2022-12-23
  • 2022-02-11
  • 2021-11-29
猜你喜欢
  • 2021-10-16
  • 2022-01-21
  • 2022-12-23
  • 2021-07-04
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案