神经网络的迭代、梯度下降步骤、时期、批量大小是什么意思？

Question

你能解释一下下面的话，我真的很困惑。 1.迭代 2.梯度下降步骤 3.epoch 4.批量大小。

Answer 1

除了 Sayali 的精彩回答，这里还有definitions from Keras python package：

1. 样本：数据集的一个元素。 示例：一张图片是 一个卷积网络。 示例：一个音频文件是一个示例 语音识别模型
2. Batch：一组 N 个样本。处理一批样品 独立，并行。如果是训练，一批结果只有一个 更新到模型。批次通常近似分布 输入数据比单个输入更好。批次越大， 近似值越好；然而，这也是事实 批次将需要更长的时间来处理，并且仍然只会产生一个 更新。对于推理（评估/预测），建议选择 尽可能大的批量大小而不会超出 内存（因为更大的批次通常会导致更快 评估/预测）。
3. Epoch：任意截止，通常定义为“一次通过 整个数据集”，用于将训练分成不同的阶段， 这对于记录日志和定期评估很有用。

Answer 2

在神经网络术语中：

• 一个 epoch = 所有训练示例的一次前向传递和一次反向传递
• batch size = 一次前向/后向传递中的训练样本数。批处理大小越大，您需要的内存空间就越多。
• 迭代次数 = 传递次数，每次传递使用 [batch size] 示例数。需要明确的是，一次传球 = 一次向前传球 + 一次向后传球（我们不将向前传球和向后传球算作两次不同的传球）。

示例：如果您有 1000 个训练示例，并且批量大小为 500，则需要 2 次迭代才能完成 1 个 epoch。

梯度下降：

请观看本讲座： https://www.coursera.org/learn/machine-learning/lecture/8SpIM/gradient-descent（来源：Andrew ng，Coursera）

那么让我们看看梯度下降的作用。想象这就像某个草地公园的景观，有两座像这样的小山，我想让我们想象你正站在山上的那个点，在你公园里的这个小红山上。

事实证明，如果你站在山上的那个点，你环顾四周，你会发现最好的方向是走一小步下坡，大致就是那个方向。

好的，现在您在山上的这个新点上。你会再一次环顾四周，说我应该朝哪个方向走，才能在下坡时迈出一小步？如果你这样做并再迈出一步，你就会朝着那个方向迈出一步。

然后你继续前进。从你环顾四周的这个新点出发，决定哪个方向会让你最快下坡。再走一步，再走一步，直到你在这里收敛到这个局部最小值。

在梯度下降中，我们要做的是旋转 360 度，看看我们周围，问我是否要朝某个方向迈出一小步，我想要为了尽快下坡，我把那个小婴儿踩到什么方向？如果我想下山，那么我想尽可能快地走下这座山。

我希望您现在了解梯度下降步骤的重要性。希望这有帮助！