定理:(奇异值分解)设A为m*n阶复矩阵,则存在m阶酉阵U和n阶酉阵V,使得:
A = U*S*V’
其中S=diag(σi,σ2,……,σr),σi>0
(i=1,…,r),r=rank(A)。
推论:设A为m*n阶实矩阵,则存在m阶正交阵U和n阶正交阵V,使得
A = U*S*V’
其中S=diag(σi,σ2,……,σr),σi>0
(i=1,…,r),r=rank(A)。
1、奇异值分解非常有用,对于矩阵A(m*n),存在U(m*m),V(n*n),S(m*n),满足A = U*S*V’。U和V中分别是A的奇异向量,而S是A的奇异值。AA\'的正交单位特征向量组成U,特征值组成S\'S,A\'A的正交单位特征向量组成V,特征值(与AA\'相同)组成SS\'。因此,奇异值分解和特征值问题紧密联系。
2、奇异值分解提供了一些关于A的信息,例如非零奇异值的数目(S的阶数)和A的秩相同,一旦秩r确定,那么U的前r列构成了A的列向量空间的正交基。
关于奇异值分解中当考虑的对象是实矩阵时: S对角元的平方恰为A\'A特征值的说明. (对复矩阵类似可得)
从上面我们知道矩阵的奇异值分解为: A=USV, 其中U,V是正交阵(所谓B为正交阵是指B\'=B-1, 即B\'B=I), S为对角阵.
A\'A=V\'S\'U\'USV=V\'S\'SV=V-1S2V
上式中, 一方面因为S是对角阵, S\'S=S2, 且S2对角元就是S的对角元的平方. 另一方面注意到A\'A是相似与S2的, 因此与S2有相同特征值.
其实奇异值可以认为是一种特殊的矩阵范数!