子空间的投影矩阵推导过程及其性质

一维投影

设向量 $b$b 在子空间 $a$a 上的投影为 向量 $p = xa$p=xa，则向量b 与 向量p 之间的最小误差 $e=b-p$e=b−p与子空间$a$a正交。

由正交的定义有： $a^T(b-p)=0 \rightarrow a^T(b-xa)=0$aT(b−p)=0→aT(b−xa)=0

所以：$a^Tax=a^Tb$aTax=aTb

所以：$x = \frac{a^Tb}{a^Ta}$x=aTaaTb​

向量b 在子空间 a上的投影 $p=ax =a\frac{a^Tb}{a^Ta}$p=ax=aaTaaTb​

上式也可写成：$p=\frac{aa^T}{a^Ta}b$p=aTaaaT​b

其中 $\frac{aa^T}{a^Ta}$aTaaaT​ 称为子空间 a 的投影矩阵 $P$P。

• 注意到 $aa^T$aaT 是一个矩阵，$a^Ta$aTa 是一个数字，所以两者相除，得到的是一个矩阵

投影矩阵 $P$P 的性质：

• $P$P 是对称矩阵，即 $P^T =P$PT=P
• 投影两次，不会改变投影结果，即 $P^2=P$P2=P

二维投影

• 投影的意义：对于方程组 $Ax =b$Ax=b，如果 $b$b 不在 矩阵$A$A 的列空间中，则方程组无精确解，这时可以通过将 b 投影到$A$A的列空间$C(A)$C(A)得到 $p$p，然后求解 $A\hat{x}=p$Ax^=p 来得到近似解。

$a_1$a1​和 $a_2$a2​ 是矩阵 A 的列空间的基，$p$p 是 $b$b 在 A的列空间的投影，$e$e 是 $b$b 垂直于A的列空间的分量。

所以 $p=\hat{x_1}a_1+\hat{x_2}a_2 = A\hat{x}$p=x1​^​a1​+x2​^​a2​=Ax^， $\hat{x}$x^ 是我们需要求的目标。

$e=b-p$e=b−p，表示$b$b的实际值与近似值$p$p之间的误差，当 $e$e 垂直于$A$A的列空间时，这个误差最小，此时求解得到的解即为最优解

因为 $e = b - p = b - A\hat{x}$e=b−p=b−Ax^ 垂直于 A的列空间，所以 $e$e 分别与 A 的基 $a_1$a1​ 和 $a_2$a2​ 垂直

所以有 $a_1^Te=0$a1T​e=0，$a_2^Te=0$a2T​e=0

即：$\begin{bmatrix}a_1^T \\a_2^T \end{bmatrix}e=A^T(b-A\hat{x})=A^Tb-A^TA\hat{x}=0 \rightarrow A^TA\hat{x}=A^Tb$[a1T​a2T​​]e=AT(b−Ax^)=ATb−ATAx^=0→ATAx^=ATb

所以 $\hat{x}=(A^TA)^{-1}A^Tb$x^=(ATA)−1ATb

又因为 $p=A\hat{x}=A(A^TA)^{-1}A^Tb$p=Ax^=A(ATA)−1ATb

$p$p 是 $b$b 在 A的列空间上的投影，所以A 的投影矩阵为 $P=A(A^TA)^{-1}A^T$P=A(ATA)−1AT

如果 A 是可逆矩阵，则有$P=AA^{-1}(A^T)^{-1}A^T = I$P=AA−1(AT)−1AT=I，此时 b 在 A的列空间中，b 的投影还是它自身，所以投影矩阵为 单位矩阵 $I$I

$n$n 维的投影矩阵 $P$P 的性质：

• $P$P 是对称矩阵，即 $P^T=P$PT=P
• $P^2=P$P2=P