【发布时间】：2015-03-23 21:41:40
【问题描述】：
我了解在 SGD 中，我们会更新权重 w.r.t。到单个训练示例，例如：
for i in range(m):
weights = weights + (alpha * gradient) # for each i in m
然后我们是根据这个单次更新还是在整个训练集运行之后计算新的均方误差（我的成本函数）？
【问题讨论】：
【发布时间】：2015-03-23 21:41:40
【问题描述】：
基于一次更新。梯度是使用单个训练示例估计的，然后用于更新您的权重。更新后，您可以计算新的损失函数，看看您的优化效果如何。
【讨论】：
-
所以它是：对于训练集中的每个 d： 1. 将权重 wrt 更新为 d 2. 计算新错误
-
听起来正确 :) 然后您可以根据需要多次运行训练集。请注意，您可能必须对训练集进行洗牌以避免错误信号振荡。
-
你计算损失函数 w.r.t 到那个单个数据点还是 w.r.t.整个训练集？
-
如果你想想你想要达到的目标，你会意识到计算损失 w.r.t.单一点没有任何意义:)