MIT 18.06 linear algebra 第三十四讲笔记

MIT 18.06 linear algebra 第三十四讲笔记

---

第三十四课课程要点：

• 4 subspaces
• left-inverse
• right-inverse
• pseudo-inverse

---

这张图是最前面学到的关于矩阵四个子空间。

有m×n$m\times n$的矩阵A$A$,如果矩阵A$A$的左右逆都存在即A−1A=I=AA−1$A^{-1}A=I=A{A}^{-1}$,那么这个矩阵满足r=m=n$r=m=n$，即为满秩方阵。

---

左逆-列满秩

如果矩阵A$A$是列满秩，即r=n<m$r=n<m$，矩阵各个列向量是线性独立的，那么矩阵的N(A)={0}$N(A)=\{0\}$。这时矩阵只存在左逆。对于Ax=b$Ax=b$那么它的解只有一个或者无解。因为如果b$b$在矩阵A$A$的列空间中的话（即b$b$在N(A)$N(A)$中），那么既可以得到一个唯一解，如果向量b$b$不在矩阵A$A$的列空间中，则无解。

如果矩阵A$A$的各个列是线性无关的，不论矩阵的形状如何。ATA$A^{T}A$都是对称且可逆的矩阵。

(ATA)−1ATA=In×n$(A^{T}A{)}^{-1}{A}^{T}A=I_{n\times n}$,左侧红色的部分就被称为矩阵A$A$的左逆，即A−1left=(ATA)−1AT$A_{left}^{-1}=(A^{T}A{)}^{-1}{A}^T$。看到(ATA)−1AT$(A^{T}A{)}^{-1}{A}^T$,是不是似曾相识，它就是前面学到的投影矩阵，这个是在列空间上的投影。

---

右逆-行满秩

假设矩阵A$A$为行满秩矩阵，即r=m<n$r=m<n$且N(AT)={0}$N(A^T)=\{0\}$。在求解Ax=b$Ax=b$时，由于A$A$是行满秩，所以说在消元的时候不会出现全零的行，不会导致消到最后出现0=bi$0=b_i$的情形。x$x$有n−m$n-m$个自由变量，即Ax=b$Ax=b$有无穷多个解。由于矩阵A$A$是行满秩的，那么AAT$A{A}^T$是可逆的。

AAT(AAT)−1=I$A{A}^T(A{A}^T{)}^{-1}=I$,红色的部分就是矩阵A$A$的右逆。即A−1right=AT(AAT)−1$A_{right}^{-1}=A^T(A{A}^T{)}^{-1}$。AT(AAT)−1$A^T(A{A}^T{)}^{-1}$也是一个投影矩阵，它是在行空间上的投影矩阵。

---

1. 当矩阵A$A$两边都存在逆时，两个零空间即N(A)N(AT)$N(A)N(A^T)$均为0向量。
2. 当矩阵A$A$只存在左逆时，N(A)={0}$N(A)=\{0\}$。
3. 当矩阵A$A$只存在右逆时，N(AT)={0}$N(A^T)=\{0\}$。
4. 当矩阵A$A$左右逆均不存在时，N(A)N(AT)$N(A)N(A^T)$都是存在的，不只有零向量。这是r<nandr<m$r<nandr<m$。

---

伪逆

从上图中，在行空间中有两个向量x$x$和y$y$,Ax$Ax$和Ay$Ay$一定是在矩阵A$A$的列空间中，那么这个矩阵A$A$有点类似于行空间到列空间的一个映射。即行空间与列空间是一一对应的。如果向量k$k$在矩阵A$A$的零空间中，那么Ak=0$Ak=0$,所以在整个Rn$R^n$中的所有向量均可以由行空间中的向量和零空间中的向量表示。由于零空间的存在它会把这些向量变为零向量。这样所有Rn$R^n$中所有向量便都被包含了。

所有空间中的向量都能由行空间中的分量和零空间中的分量组成，变换会将零空间中的分量消掉。

---

证明：矩阵A$A$行空间中的向量x,y$x,y$,如果x≠y$x\ne y$,那么Ax≠Ay$Ax\ne Ay$.
矩阵A$A$为行空间到列空间的一个映射，如果我们就限制在这两个空间上，那么矩阵A$A$就是可逆的，因为Ax$Ax$,从行空间到了列空间，也可以由办法找到从列空间到行空间的映射。即y=A†Ay$y=A^{†}Ay$。伪逆A†$A^{†}$的作用就是把N(AT)$N(A^T)$变没。

现在假设Ax=Ay$Ax=Ay$,那么A(x−y)=0$A(x-y)=0$,其中x−y$x-y$属于N(A)$N(A)$。前假设向量x,y$x,y$都在行空间中，那么x−y$x-y$必然也在行空间中。因此出现矛盾，得出x=y$x=y$。

---

怎么样得出伪逆A†$A^{†}$
前面我们学到分解一个矩阵可以通过SVD方法来A=UΣVT$A=U\mathrm{\Sigma }{V}^T$。

其中对角阵Σ=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢σ1σ2⋱σr00⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥$\mathrm{\Sigma }=\left[\begin{array}{c}{\sigma }_1\\ & {\sigma }_2\\ & & \ddots \\ & & & {\sigma }_r\\ & & & & 0\\ & & & & & 0\end{array}\right]$。

那么这个矩阵的伪逆Σ†=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢1σ11σ2⋱1σr00⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥${\mathrm{\Sigma }}^{†}=\left[\begin{array}{c}\frac{1}{{\sigma }_1}\\ & \frac{1}{{\sigma }_2}\\ & & \ddots \\ & & & \frac{1}{{\sigma }_r}\\ & & & & 0\\ & & & & & 0\end{array}\right]$。

ΣΣ†=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢11⋱10⋱⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥$\mathrm{\Sigma }{\mathrm{\Sigma }}^{†}=\left[\begin{array}{c}1\\ & 1\\ & & \ddots \\ & & & 1\\ & & & & 0\\ & & & & & & \ddots \end{array}\right]$这是在列空间上的投影矩阵。

Σ†Σ=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢11⋱10⋱⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥${\mathrm{\Sigma }}^{†}\mathrm{\Sigma }=\left[\begin{array}{c}1\\ & 1\\ & & \ddots \\ & & & 1\\ & & & & 0\\ & & & & & & \ddots \end{array}\right]$这是在行空间上的投影矩阵。

矩阵可能没有左逆或者右逆，但是它一定存在伪逆。

A†=VΣ†UT$A^{†}=V{\mathrm{\Sigma }}^{†}{U}^T$