在 PyTorch 中沿矩阵的对角线绑定所有值

Question

我正在实现的模型有一组参数 a1，...，aH，它们对应于对先前输出的加权。它是通过乘以一个如下所示的矩阵来实现的：

a1  0  0  0  0 ...
a2 a1  0  0  0 ...
a3 a2 a1  0  0 ...
 :  :  :  :  :

在当前的实现中，a 保存在具有 H 个条目的一维 nn.parameter.Parameter 中，在每次前向传递期间从该条目构造矩阵。矩阵的梯度通过autograd自动传播到参数。

但是，这需要每次前向传递都重新构造矩阵。有没有办法让矩阵本身作为参数，但将权重沿主对角线和下对角线绑定，这样就相当于从参数向量构造它？

Answer 1

你可以从scipy使用dia_matrix

from scipy.sparse import dia_matrix

a = [1,2,3]
b = [4,5]

m = dia_matrix([a, b], [0, -1])
print(m)
#   (0, 0)  [1, 2, 3]
#   (0, 1)  [4, 5]
a[0] = 10

print(m)
#   (0, 0)  [10, 2, 3]
#   (0, 1)  [4, 5]