【发布时间】:2016-03-01 13:39:39
【问题描述】:
(对不起,如果这听起来有点幼稚)
我想看看 GradientDescent 的 TensorFlow 实现的内容 - 并亲眼看看它们如何处理终止条件、步长自适应等。我追踪了 training_ops.apply_gradient_descent 的代码,但我不能找到实现:(
【问题讨论】:
标签: tensorflow gradient-descent
(对不起,如果这听起来有点幼稚)
我想看看 GradientDescent 的 TensorFlow 实现的内容 - 并亲眼看看它们如何处理终止条件、步长自适应等。我追踪了 training_ops.apply_gradient_descent 的代码,但我不能找到实现:(
【问题讨论】:
标签: tensorflow gradient-descent
TensorFlow Optimizer 接口,(GradientDescentOptimizer 实现)定义了一个最小化步骤。终止条件或调整步长由用户实施。在MNIST for Beginners 教程中,终止条件是“在 1000 步后停止”,您可以在 for i in range(1000) 循环中看到
apply_gradient_descent(a,b,c) 是一个融合运算,将c 乘以b 并将其添加到a。在Adding a new op HowTo 中详述了从 Python 包装器到 C++ 实现的一些额外的间接级别,但作为一种快捷方式,您通常可以通过从蛇形案例转换并搜索它来找到 C++ 实现,因此在这种情况下是 ApplyGradientDescent。这导致在tensorflow/core/kernels/training_ops.cc中实现
【讨论】: