超定方程的最小二乘解的三维几何解释

• 原始方程 $Ax = b$Ax=b，解为 $x = A^{-1}b$x=A−1b，matlab描述 x = A\b
• 超定方程乘以 $A^T$AT 变为方阵 $A^TAx = A^Tb$ATAx=ATb
• 列向量的形式 $A^TA$ATA 直接是一个数，简化计算
• 再把 $A^TA$ATA 作为一个整体除过去
  $x = (A^TA)^{-1} A^Tb$x=(ATA)−1ATb

---

• 最小二乘解，向量 $b'$b′ 在张成的平面之外，解的满足误差最小，合成的向量是 $b'$b′ 在张成的投影
  $A^T(b'-Ax')=0$AT(b′−Ax′)=0
• v 和 w 均为列向量
  $A = [v,w]=\begin{bmatrix} x_1&x_2\\ y_1&y_2 \end{bmatrix}$A=[v,w]=[x1​y1​​x2​y2​​]
  $A^T = \begin{bmatrix} v^T\\ w^T \end{bmatrix}=\begin{bmatrix} x_1&y_1\\ x_2&y_2 \end{bmatrix}$AT=[vTwT​]=[x1​x2​​y1​y2​​]
• 向量 $v$v 和 向量 $e$e 垂直
  $x_1x_3+y_1y_3=0\Rightarrow[x_1,y_1]\begin{bmatrix}x_3\\ y_3\end{bmatrix}=0\Rightarrow v^T\begin{bmatrix}x_3\\ y_3\end{bmatrix}=v^Te=0$x1​x3​+y1​y3​=0⇒[x1​,y1​][x3​y3​​]=0⇒vT[x3​y3​​]=vTe=0
• 向量 $e$e 与张成的平面垂直
  $A^Te=0$ATe=0

---

• $b$b 位于张成的向量内
  $k_1v+k_2w=b$k1​v+k2​w=b
  $[v,w]\begin{bmatrix} k_1\\ k_2 \end{bmatrix}=b$[v,w][k1​k2​​]=b
  
• 在matlab里有子程序对应 $(A^TA)^{-1} A^T$(ATA)−1AT 伪逆 pinv(A)