MIT 18.06 linear algebra 第三十讲笔记

MIT 18.06 linear algebra 第三十讲笔记

---

• Singular value Decomposition ⇒SVD$\Rightarrow SVD$
• A=UΣVT$A=U\mathrm{\Sigma }{V}^T$ Σ$\mathrm{\Sigma }$ is diagonal U,V is Orthogonal

---

对称的正定矩阵A$A$，可以被写为A=QSQT$A=QS{Q}^T$。正定矩阵的这种分解其实就是SVD$SVD$分解的一种特例。而SVD$SVD$分解并不需要U$U$和V$V$相等。

在上图中在行空间中选择一个单位向量v1$v_1$，然后在列空间中使得存在单位向量u1$u_1$满足σ1u1=Av1${\sigma }_1{u}_1=A{v}_1$。其中的σ1${\sigma }_1$是一个数字，表示他们之间的数量关系。在找一个与v1$v_1$正交的单位向量v2$v_2$，然后使得在列空间中存在一个与u1$u_1$正交的单位向量u2$u_2$满足σ2u2=Au2${\sigma }_2{u}_2=A{u}_2$。通过史密斯正交法就可以找到一组标准正交的单位向量。

用矩阵表示也就是：
A[v1v2⋯vrvr+1vn]=$A\left[\begin{array}{cccccc}{v}_1& v_2& \cdots & v_r& v_{r+1}& v_n\end{array}\right]=$

[u1u2⋯urur+1um]⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢σ1σ2⋱σr0⋱0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥=$\left[\begin{array}{cccccc}{u}_1& u_2& \cdots & u_r& u_{r+1}& u_m\end{array}\right]\left[\begin{array}{c}{\sigma }_1\\ & {\sigma }_2\\ & & \ddots \\ & & & {\sigma }_r\\ & & & & 0\\ & & & & & & \ddots \\ & & & & & & & 0\end{array}\right]=$
AV=UΣ$AV=U\mathrm{\Sigma }$
需要对上面的矩阵做一下说明，其中v1,v2,⋯，vr$v_1,v_2,\cdots ，v_r$是矩阵A$A$行空间的一组标准正交基。如果矩阵A$A$不是列满秩的话，需要增加矩阵A$A$零空间的一组标准正交基。同理u1,u2,⋯,ur$u_1,u_2,\cdots ,u_r$是列空间的一组标准正交基，如果矩阵A$A$不是行满秩的话，需要用AT$A^T$的零空间中的一组标准正交基来填充。其中vr+1,⋯,vn$v_{r+1},\cdots ,v_n$是N(A)$N(A)$的一组标准正交基，ur+1,⋯,um$u_{r+1},\cdots ,u_m$是N(AT)$N(A^T)$的一组标准正交基思考一下就会知道，如果存在零空间了，那么就需要找出零空间的一组标准正交基，那么Avi$A{v}_i$就会得到零，那么零就会出现在对角阵Σ$\mathrm{\Sigma }$的末尾。
求解时，A=UΣV−1=UΣVT$A=U\mathrm{\Sigma }{V}^{-1}=U\mathrm{\Sigma }{V}^T$,那么ATA=VΣTUTUΣV=$A^{T}A=V{\mathrm{\Sigma }}^T{U}^{T}U\mathrm{\Sigma }V=$
V⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢σ21σ22⋱σ2r0⋱0⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥VT$V\left[\begin{array}{c}{\sigma }_1^2\\ & {\sigma }_2^2\\ & & \ddots \\ & & & {\sigma }_r^2\\ & & & & 0\\ & & & & & & \ddots \\ & & & & & & & 0\end{array}\right]V^T$。

看到这里是否会突然联想到ATA=QΛQT$A^{T}A=Q\mathrm{\Lambda }{Q}^T$。对于ATA$A^{T}A$对应的是正定或者至少半正定矩阵。ATA$A^{T}A$可以应对长方形矩阵。

---

例子
A=[4−343]$A=\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]$，可以看出这个矩阵是可逆的，因此设行空间的标准正交基为v1,v2$v_1,v_2$,u1,u2$u_1,u_2$为列空间的标准正交基。满足Av1=σ1u1$A{v}_1={\sigma }_1{u}_1$和Av2=σ2u2$A{v}_2={\sigma }_2{u}_2$。

ATA=[257725]$A^{T}A=\left[\begin{array}{cc}25& 7\\ 7& 25\end{array}\right]$,因此解出特征值为32和18，特征向量分别为⎡⎣12√12√⎤⎦$\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$和⎡⎣12√−12√⎤⎦$\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{-1}{\sqrt{2}}\end{array}\right]$,由于求出了矩阵V$V$相应的矩阵U$U$其实也就确定了，不能随便选取。u1=[10]$u_1=\left[\begin{array}{c}1\\ 0\end{array}\right]$,u2=[0−1]$u_2=\left[\begin{array}{c}0\\ -1\end{array}\right]$,可以代进去算一下，是正确的A=UΣVT$A=U\mathrm{\Sigma }{V}^T$。

我们可以通过AAT$A{A}^T$的方法来计算U$U$,AAT=UΣVTVΣTUT=UΣ2UT$A{A}^T=U\mathrm{\Sigma }{V}^{T}V{\mathrm{\Sigma }}^T{U}^T=U{\mathrm{\Sigma }}^2{U}^T$。
AAT$A{A}^T$与ATA$A^{T}A$的特征值是相同的，假设ATAx=λx$A^{T}Ax=\lambda x$，有AATAx=λAx$A{A}^{T}Ax=\lambda Ax$。

---

例子2

矩阵A=[4836]$A=\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]$,此时行空间与列空间只是一维的因此需要添加零空间的正交基来补全。

此时对角阵就会出现用零填充的情况。按照上面的逻辑计算即可。