超参数调试、Batch正则化和编程框架

2.为超参数选择合适的范围

超参数调试、Batch正则化和编程框架

3.超参数在实践中调整:熊猫与鱼子酱

超参数调试、Batch正则化和编程框架

4.正则化网络的激活函数

超参数调试、Batch正则化和编程框架

超参数调试、Batch正则化和编程框架

 超参数调试、Batch正则化和编程框架

5.将batch norm拟合进神经网络

超参数调试、Batch正则化和编程框架

6. 为什么Batch Norm会起作用?

超参数调试、Batch正则化和编程框架

7.测试集怎么用Batch Norm?

超参数调试、Batch正则化和编程框架

超参数调试、Batch正则化和编程框架

  也就是说在测试集中,gamma和beta值都是训练集训练得到的值,而样本均值和方差是测试集本身计算出来的,公式如下:

超参数调试、Batch正则化和编程框架

8. softmax回归

超参数调试、Batch正则化和编程框架

9. 训练一个softmax分类器

超参数调试、Batch正则化和编程框架

 

 

参考文献:

【1】为什么batch normalization在训练和测试时使用的均值和方差的计算方式不同?

【2】tensorflow中batch normalization的用法

相关文章: