【发布时间】：2016-10-28 04:02:54
【问题描述】：
在 Caffe 中，SGD 求解器有一个动量参数 (link)。在 TensorFlow 中，我看到 tf.train.GradientDescentOptimizer 没有明确的动量参数。但是，我可以看到有tf.train.MomentumOptimizer 优化器。是否相当于带有动量优化器的 Caffe SGD？
【问题讨论】：
标签： tensorflow optimization sgd
【发布时间】：2016-10-28 04:02:54
【问题描述】：
是的。 tf.train.MomentumOptimizer = SGD + 动量
【讨论】：
-
谢谢@nessuno。我想说，tensorflow 文档有点不足。
-
如果您查看 Caffe (caffe.berkeleyvision.org/tutorial/solver.html) 和 TF (tensorflow.org/versions/r1.15/api_docs/python/tf/train/…) 中的 SGD+动量公式，您会发现它们略有不同。
tf.keras.optimizers.SGD 有一个momentum 参数。使用nesterov=True 也可以应用 Nesterov 动量。
【讨论】：
-
只是为了澄清 tf.keras.optimizers.SGD 没有针对 tensorflow 1.6 的最小化方法。它适合作为参数传递给 keras 顺序 model.fit。但是，可以使用 tf.train.MomentumOptimizer。