在 GradientTape(persistent=True) 之后调用 __exit_

Question

我开始使用tf.GradientTape(persistent=True) 记录渐变，以便能够多次调用gradient_tape.gradient()。由于这意味着在调用gradient() 方法后没有释放渐变，我是否必须在train_step 的末尾调用__exit__ 之类的东西？

Answer 1

根据https://www.tensorflow.org/api_docs/python/tf/GradientTape：

默认情况下，GradientTape 持有的资源会尽快释放 因为 GradientTape.gradient() 方法被调用。计算多个 在相同计算上的梯度，创建一个持久梯度 胶带。这允许对 gradient() 方法的多次调用作为资源 当磁带对象被垃圾回收时释放。

在训练步骤之后，只要没有其他对象引用该磁带，垃圾收集器就会收集它。