深度学习：为什么随着批大小的减小，准确性会变得更好？

Question

我对批量大小的理解是越小，噪音越大，计算效率越低，但是我开发了一个模型，并使用了一个特定的数据集，我在其中尝试了不同的配置，我所能看到的只是准确度随着批量大小的减小（同时保持其余参数不变），它会变得更好。我尝试了 2、4、8、16、32 和 64 的批量大小。我预计准确度会从 2-8 提高，并且在其他方​​面会稳定/振荡，但在减少批量大小方面有所改进完全清楚（2 次 5 折交叉验证）。

我的问题是，为什么会这样？发生这种情况时，我能对我的模型和数据集说些什么？

Answer 1

这个想法是，由于梯度噪声，它更难过拟合。但它不仅在改善。请参阅Analysis and Optimization of Convolutional Neural Network Architectures 第 59 页的表 5.9。如果批量太小，精度会再次下降。