【发布时间】：2011-01-09 13:01:42
【问题描述】：
反向传播会计算每个模式的每个权重 dW（权重增量），因此在进行随机训练时如何修改权重很简单。但是，我如何将它用于批量训练？只需在整个训练集上累积dW，然后应用修改，还是还有更多？
【问题讨论】：
标签： batch-file machine-learning neural-network backpropagation
【发布时间】：2011-01-09 13:01:42
【问题描述】：
是的，只需在整个训练集上累积 dW。至少我在读研究生时就是这样编码的……
【讨论】：
-
但是当你重新计算输入权重时，你应该使用（一个？）输入向量。所以，假设我累积了 2 个向量的误差，然后我开始做反向传播——我选择哪个向量？我是否使用一个向量运行反向传播，更新所有权重，然后使用另一个向量运行反向传播，重新更新所有权重？
-
@dwanderson 您确定如何执行此操作了吗？我被困在同一个地方，我已经积累了整个批次的所有增量，但不知道如何从这里开始。我现在的假设是将增量设置为平均增量，然后更新数据集中每个向量的权重。
您可以对来自不同样本的不同梯度做很多事情。这包括高阶信息（近似二阶导数）或共轭梯度或自然梯度或...... :)
【讨论】：