随机梯度下降甚至可以与 TensorFlow 一起使用吗？

Question

我设计了一个 MLP，全连接，有 2 个隐藏层和一个输出层。 如果我使用批量或小批量梯度下降，我会得到很好的学习曲线。

但在执行随机梯度下降时是一条直线（紫色）

我做错了什么？

据我了解，如果我在每个训练步骤中只提供一个训练/学习示例，我会使用 Tensorflow 进行随机梯度下降，例如：

X = tf.placeholder("float", [None, amountInput],name="Input")
Y = tf.placeholder("float", [None, amountOutput],name="TeachingInput")
...
m, i = sess.run([merged, train_op], feed_dict={X:[input],Y:[label]})

其中 input 是一个 10 分量的向量，label 是一个 20 分量的向量。

对于测试，我运行了 1000 次迭代，每次迭代都包含 50 个准备好的训练/学习示例之一。 我期待一个overfittet nn。但如你所见，它不会学习:(

因为 nn 将在在线学习环境中执行，所以不能选择小批量或批量梯度下降。

感谢任何提示。

Answer 1

批量大小会影响有效学习率。

如果您考虑单个参数的更新公式，您会发现它已更新平均为该参数计算的各种值，对于输入批次中的每个元素。

这意味着，如果您使用大小为 n 的批大小，则每个参数的“真实”学习率约为 learning_rate/n。

因此，如果您使用大小为 n 的批次训练的模型训练没有问题，这是因为该批次大小的学习率还可以。

如果使用纯随机梯度下降，则必须降低学习率（通常降低 10 次方）。

因此，例如，如果您的学习率为1e-4，批量大小为128，请尝试使用1e-4 / 128.0 的学习率，看看网络是否学习（应该）。