如何在 TF 2.0 中计算这个梯度？

Question

我提供了一个我想要解决的最小示例。我已经定义了一个类，并且在不同的函数中定义了一些变量。我想知道如何跨函数跟踪这些变量以获得梯度。我想我必须使用tf.GradientTape，但我尝试了一些变体但没有成功。

class A():
     def __init__(self):
         self.alpha = tf.Variable(2.0)
     def f1(self):
         wt = self.alpha * 5.0
         return wt
     def f2(self):
         wt_f1 = f1()
         with tf.GradientTape() as tape:
            wt_f2 = wt_f1 * 10.0
            print(tape.gradient(wt_f2, self.alpha))

a = A()
print(a.f2())

最后一行返回None。很明显，wt_f2 相对于alpha 的导数是 50.0。但是，我得到None。任何的想法？我尝试在__init__ 函数中初始化一个持久渐变磁带，并使用它来观察wt 和self.alpha 等变量，但这没有帮助。有什么想法吗？

更新 1：

将wt_f1 调用放在tape 下不起作用。

class A():
     def __init__(self):
         self.alpha = tf.Variable(2.0)
     def f1(self):
         wt = self.alpha * 5.0
         return wt
     def f2(self):
         with tf.GradientTape() as tape:
            wt_f1 = f1()
            wt_f2 = wt_f1 * 10.0
            print(tape.gradient(wt_f2, self.alpha))

这也返回None。

Answer 1

您正在打印无。因为f2() 什么都不返回，所以你得到None。 删除打印：

a = A()
a.f2()

此外，一些编辑可能对您编写的代码有好处。

1. 您在f1() 函数之前错过了self，这是因为您在其他地方定义了f1 函数。无论如何添加self.f1()。
2. 将print 语句移到tape 范围之外。因为最好在录制完成的地方获得渐变。
3. 添加tape.watch() 以确保它被磁带跟踪。

class A():
    def __init__(self):
        self.alpha = tf.Variable(2.0)
    def f1(self):
        wt = self.alpha * 5.0
        return wt
    def f2(self):
        with tf.GradientTape() as tape:
            tape.watch(self.alpha)
            wt_f1 = self.f1()
            wt_f2 = wt_f1 * 10.0
        print(tape.gradient(wt_f2, self.alpha))