麻省理工大学线性代数导论笔记 - Lecture 2 矩阵消元

学习视频来源：麻省理工公开课_线性代数导论 讲师：Gilbert Strang

http://open.163.com/special/opencourse/daishu.html

---

Lecture 2 矩阵消元

Elimination 消元法

⎧⎩⎨⎪⎪x+2y+z=23x+8y+z=124y+z=2①②③$\{\begin{array}{ll}x+2y+z=2& ①\\ 3x+8y+z=12& ②\\ 4y+z=2& ③\end{array}$ <=> Ax=b$Ax=b$

⎛⎝⎜⎜130284111⎞⎠⎟⎟$\left(\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right)$ <=> A$A$

• Elimination works 消元法奏效

  只要A$A$是一个不可逆/非奇异矩阵，消元法就会奏效。消元法的核心概念是 matrix operations 矩阵变换。

  • 第一步：假设方程①成立，消去方程②和③的x$x$。

  首先，用方程①乘以一个elimination multiplier 消元乘数，然后从方程②中将其减去。这里用框框圈起来的 1 是消元的关键，被称为1st pivot 主元 1。因为第一行是主元行，所以不变。消元乘数取 3。

  这里方程③的x$x$的系数已经是 0。理论上是用方程①乘以消元乘数 0，然后从方程③中将其减去，但我们可以直接跳到下一步。
  

  • 第二步：进行递归，接着消去方程③的y$y$

  方法同上，用方程②乘以消元乘数，然后从方程③中将其减去。现在第二行用框框圈起来的 2 被称为2nd pivot 主元 2，第二行是主元行。消元乘数取 2。得到矩阵U$U$，U$U$表示upper triangular 上三角矩阵。
  

  • 注：先算完左侧矩阵A$A$的消元，之后再加上右侧向量b$b$；主元不能为 0；determinant 行列式等于主元之积。

• Elimination fails 消元法失效

  失效，指的是不能得到三个主元。如果 0 占据了主元的位置，这时就要进行switch rows 行交换，在下面的方程中找出合适的主元。当底下的行中再也没有非 0 元素时，这时消元确定失效。

Back-substitution 回代

这时我们引入右侧向量b$b$作为A$A$的新一列，称为augmented matrix 增广矩阵。

⎛⎝⎜⎜1302841112122⎞⎠⎟⎟$\left(\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right)$ <=> (Ab)$\left(\begin{array}{cc}A& b\end{array}\right)$

c$c$是b$b$的最终结果，就像U$U$是A$A$的最终结果。

以下就是矩阵U$U$和b$b$的方程含义，我们可以轻松解出x$x$、y$y$、z$z$的值。

⎧⎩⎨⎪⎪x+2y+z=22y−2z=65z=−10$\{\begin{array}{l}x+2y+z=2\\ 2y-2z=6\\ 5z=-10\end{array}$ <=> Ux=c$Ux=c$

---

附一：进行矩阵乘法时，注意用整个向量来思考：

• row operations 行变换——矩阵行的线性组合

  (123)$\left(\begin{array}{ccc}1& 2& 3\end{array}\right)$⎛⎝⎜⎜row1row2row3⎞⎠⎟⎟=1×row1+2×row2+3×row3$\left(\begin{array}{c}row1\\ row2\\ row3\end{array}\right)=1\times row1+2\times row2+3\times row3$

• column operations 列变换——矩阵列的线性组合

  (col1col2col3)$\left(\begin{array}{ccc}col1& col2& col3\end{array}\right)$⎛⎝⎜⎜123⎞⎠⎟⎟=1×col1+2×col2+3×col3$\left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)=1\times col1+2\times col2+3\times col3$

---

Elimination matrices 消元矩阵

• 第一步：找到一个elementary matrix 初等矩阵E2,1$E_{2,1}$（因为它表示位置2,1上的变换），从A$A$中的行二减去 3 倍行一，其他行不变。

  ⎛⎝⎜⎜1−30010001⎞⎠⎟⎟$\left(\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right)$ ⎛⎝⎜⎜130284111⎞⎠⎟⎟=⎛⎝⎜⎜1002241−21⎞⎠⎟⎟$\left(\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right)=\left(\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right)$ <=> E2,1A=⎛⎝⎜⎜1002241−21⎞⎠⎟⎟$E_{2,1}A=\left(\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right)$

• 第二步：找到一个初等矩阵E3,2$E_{3,2}$（因为它表示位置3,2上的变换），从中E2,1A$E_{2,1}A$的行三减去 2 倍行二，其他行不变。

  ⎛⎝⎜⎜10001−2001⎞⎠⎟⎟$\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right)$⎛⎝⎜⎜1002241−21⎞⎠⎟⎟=⎛⎝⎜⎜1002201−25⎞⎠⎟⎟$\left(\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right)=\left(\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right)$ <=>E3,2(E2,1A)=U$E_{3,2}(E_{2,1}A)=U$

每一步用到一个初等矩阵，使A$A$最终转换成U$U$。那么是否存在一个矩阵，可以一次性完成从A$A$到U$U$的消元步骤？答案是Yes。根据矩阵的associative law 结合律，增减括号对任意矩阵乘法皆适用。即我们可以将E3,2(E2,1A)=U$E_{3,2}(E_{2,1}A)=U$ 改为(E3,2E2,1)A=U$(E_{3,2}{E}_{2,1})A=U$ ，则E3,2E2,1=⎛⎝⎜⎜1−3601−2001⎞⎠⎟⎟$E_{3,2}{E}_{2,1}=\left(\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 6& -2& 1\end{array}\right)$为我们所求的矩阵。

---

附二：permutation matrix 置换矩阵，交换矩阵行列的一类初等矩阵。

• 交换行

(0110)$\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)$(acbd)=(cadb)$\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)=\left(\begin{array}{cc}c& d\\ a& b\end{array}\right)$

• 交换列

(acbd)$\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$(0110)=(bdac)$\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)=\left(\begin{array}{cc}b& a\\ d& c\end{array}\right)$

---

Inverses 逆变换

我们现在希望能将U$U$转换为A$A$。那么就要找到一个矩阵能取消这次消元，即该矩阵乘以E3,2$E_{3,2}$、E2,1$E_{2,1}$会得到identity matrix 单位矩阵。以消元矩阵的第一步为例，要使E2,1$E_{2,1}$转换为单位矩阵，则需用行二加上 3 倍的行一：

⎛⎝⎜⎜130010001⎞⎠⎟⎟$\left(\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right)$ ⎛⎝⎜⎜1−30010001⎞⎠⎟⎟=⎛⎝⎜⎜100010001⎞⎠⎟⎟$\left(\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$ <=> E−12,1E2,1=I$E_{2,1}^{-1}{E}_{2,1}=I$