关于贝叶斯 GP-LVM 实现细节的问题

Question

我想了解贝叶斯 GPLVM 实现在 GPflow 中是如何工作的，但我正在为几行代码而苦恼。对于以下问题，我将不胜感激：

1. 我了解gplvm.py的第178行中的矩阵B：

B = AAT + tf.eye(num_inducing, dtype=default_float())

对应于方程式中的 $\beta\Psi_2 + K_{MM}$。 Titsias and Lawrence 2010 中的 14 个。但是，我不明白代码是如何实现这个表达式的。

1. 关于上一个问题，我无法理解gplvm.py的第175-181行中的A、tmp、AAT和c是什么意思？

A = tf.linalg.triangular_solve(L, tf.transpose(psi1), lower=True) / sigma
tmp = tf.linalg.triangular_solve(L, psi2, lower=True)
AAT = tf.linalg.triangular_solve(L, tf.transpose(tmp), lower=True) / sigma2
B = AAT + tf.eye(num_inducing, dtype=default_float())
LB = tf.linalg.cholesky(B)
log_det_B = 2.0 * tf.reduce_sum(tf.math.log(tf.linalg.diag_part(LB)))
c = tf.linalg.triangular_solve(LB, tf.linalg.matmul(A, Y_data), lower=True) / sigma

我猜代码使用的是矩阵求逆引理，但我看不出怎么用。

1. 在等式中。 14 来自Titsias and Lawrence 2010，有三个术语我无法理解它们在gplvm.py 中是如何计算的：

   • 0.5 \beta^2 y_d^T \Psi_1 (\beta\Psi_2+K_{MM})^{-1} \Psi_1^T y_d（这个公式出现在公式14下面的W表达式中）李>
   • 0.5 D \beta Tr(K_{MM}^{-1} \Psi_2)
   • 0.5 D \log |K_{MM}|

如果有任何提示，我将不胜感激。

此致，华金

Answer 1

计算 elbo gplvm.py 的代码非常优雅和高效。如果有人想了解它，我会在下面回复我之前的问题，并进一步发布notes。

1. 我了解 gplvm.py:182 中的矩阵 B：

B = AAT + tf.eye(num_inducing, dtype=default_float())

对应于方程式中的 $\beta\Psi_2 + K_{MM}$。 14 Titsias 和 Lawrence 2010. 但是，我不明白 gplvm 代码如何 实现论文中的表达式。

调用矩阵 $\beta\Psi_2 + K_{MM}$ 在等式。 Titsias 和 Lawrence 2010 的第 14 位（即 TL10）为 D。在 gplvm.py 中，该矩阵计算为 D=LBL，其中 B 是上面给出的矩阵（即 B=AAT+I），L 是 K_ 的 Choleskly 因子{MM}。

1. 关于上一个问题，我看不懂代码中的A、tmp、AAT和c是什么意思？

A = tf.linalg.triangular_solve(L, tf.transpose(psi1), lower=True) / sigma tmp = tf.linalg.triangular_solve(L, psi2, lower=True) AAT = tf.linalg.triangular_solve(L, tf.transpose(tmp), lower=True) / sigma2 B = AAT + tf.eye(num_inducing, dtype=default_float()) LB = tf.linalg.cholesky(B) log_det_B = 2.0 * tf.reduce_sum(tf.math.log(tf.linalg.diag_part(LB))) c = tf.linalg.triangular_solve(LB, tf.linalg.matmul(A, Y_data), lower=True) / sigma

我猜代码使用的是矩阵求逆引理，但我看不出怎么用。

代码没有使用矩阵求逆引理。

方程式中的数据项。 TL10 的 14，（即指数中的项）是通过取向量 c 的 norm2 的平方来计算的。

AAT 是出现在 TL10 中 Eq.~14 中最后一项的迹线内的矩阵（即 $K_{MM}^{-1)\Psi_2)$）。

1. 在等式中。 14 来自 Titsias 和 Lawrence，2010 年，有三个术语我无法理解它们是如何计算的：>

   • 0.5 \beta^2 y_d^T \Psi_1 (\beta\Psi_2+K_{MM})^{-1} \Psi_1^T y_d

   • 0.5 D \beta Tr(K_{MM}^{-1} \Psi_2)

   • 0.5 D \log |K_{MM}|

如上所述，第一项通过取向量c的范数2的平方来计算，第二项通过取AAT的迹来计算。等式中两个对数行列式的减法。 TL10（和第三项）的 14 是通过取 log |B| 来计算的。

漂亮的代码。谢谢。