【发布时间】：2023-03-27 05:53:02
【问题描述】：
我正在尝试在执行反向传播之前从 tensorflow 中累积不同批次的梯度。假设我有 10 批，每批 10 个样本，并将它们输入到我的神经网络中。对于每个批次，我想获得梯度并将它们相加，然后它们使用求和的梯度执行反向传播。
有没有人知道一个简单的方法来做到这一点？到目前为止，我正在获取渐变并从外部总结它们，但我认为这不是最好的方法。
【问题讨论】：
-
您在寻找
tf.test.compute_gradient吗？ tensorflow.org/versions/r0.12/api_docs/python/… -
你的申请是什么？
-
我将它用于一些强化学习算法。背后的想法是累积不同批次的数据，并在反向传播之前使用 rmsprop 缩放累积梯度。
标签： tensorflow backpropagation gradient