批量归一化 Batch normalization
[标准化出炉后的数据当作第一层的输入,标准化处理为均值为0,方差为1的特征数据]
现在我们加入批量归一化的操作,就是将乘完权重 W 后的数据 s 1
1

先减掉这一批量数据的均值和方差,得到 s 2
2

后再去进行缩放(乘以 γ ) 和平移(加上 β )。得到 s 3
3

后再经过一个 ReLU 函数,再得到 h 1
1

作为下一层(隐藏层第一层)的输入。
批量归一化 Batch normalization

相关文章:

  • 2021-07-10
  • 2021-08-25
  • 2021-09-19
  • 2021-04-29
  • 2021-07-17
  • 2021-07-02
猜你喜欢
  • 2021-10-04
  • 2021-07-09
  • 2021-12-23
  • 2021-11-17
  • 2021-12-31
  • 2021-12-03
  • 2022-12-23
相关资源
相似解决方案