我正在阅读的介绍性文档 (TOC here) 使用了术语“批处理”(for instance here)，但没有对其进行定义。
【问题讨论】：
标签： tensorflow machine-learning neural-network deep-learning tensor
假设您想要进行数字识别 (MNIST)，并且您已经定义了网络架构 (CNN)。现在，您可以开始将训练数据中的图像一张一张地输入网络，得到预测（直到这一步，它被称为做推理），计算损失，计算梯度，然后更新网络的参数（即权重和偏差），然后继续下一张图片……这种训练模型的方式有时被称为在线学习。
但是，您希望训练速度更快，梯度噪声更小，并且还希望利用 GPU 的强大功能，这些 GPU 可以有效地进行数组操作（具体来说是 nD-arrays ）。因此，您改为一次输入 100 张图像（此尺寸的选择取决于您（即，它是一个超参数）并取决于您的问题也）。例如，看下图，（作者：Martin Gorner）
在这里，由于您一次输入 100 张图像 (28x28)（而不是在线训练案例中的 1 张），批量大小为 100。这通常被称为 mini-batch size 或简称为 mini-batch。
还有下图：（作者：Martin Gorner）
现在，矩阵乘法将完美无缺，您还将利用高度优化的数组操作，从而实现更快的训练时间。
如果你观察上面的图片，你提供 100 或 256 或 2048 或 10000 (batch size) 图像并不重要，只要它适合你的 ( GPU）硬件。你会得到这么多的预测。
但是，请记住，这个batch size会影响训练时间、你达到的误差、梯度变化等，对于哪种batch size有效，没有一般的经验法则最好的。只需尝试几种尺寸并选择最适合您的尺寸。但尽量不要使用大批量，因为它会过度拟合数据。人们通常使用32, 64, 128, 256, 512, 1024, 2048 的小批量大小。
奖励：为了更好地了解使用这个批量大小可以实现多疯狂，请阅读这篇论文：weird trick for parallelizing CNNs
【讨论】：