【总结】线性代数的本质 - 2

文章目录

• 2. 矩阵
• 2.1 向量左乘矩阵
• 2.2 矩阵乘法
• 2.3 行列式
• 2.4 矩阵的用途（线性方程组）
• 2.5 矩阵的逆
• 2.6 克莱姆法则（Cramer's Rule）
• 2.7 矩阵的秩
• 2.8 列空间、零空间
• 2.9 非方阵

2. 矩阵

2.1 向量左乘矩阵

在此类比一下实数函数，对于任何一种实数函数$f(x)$f(x)，定义了对任意一个实数$x \in R$x∈R的一种变换，即输入一个实数获得另一个实数。所有的实数可以看做是一个一维向量，其线性空间也就是一个平直的数轴。那么$f(x)$f(x)对这个空间进行了变换，其函数图像可以看做是将一个平直的数轴变形成各种形状。因此实数函数就可以看做是对一维向量空间进行的变换。类似地，N维向量应该也有对应的变换，如希望输入一个N维向量，对应输出一个N维向量。因此定义一个$N \times N$N×N的矩阵，向量左乘该矩阵就表示这种变换。比如对于二维向量：
$\boldsymbol{A} * \boldsymbol{\vec{v}} = \begin{bmatrix} a & b \\ c & d \end{bmatrix} \times \begin{bmatrix} x \\ y \end{bmatrix} = x\begin{bmatrix} a \\ c \end{bmatrix} + y\begin{bmatrix} b \\ d \end{bmatrix} = \begin{bmatrix} ax+by \\ cx+dy \end{bmatrix}$A∗v=[ac​bd​]×[xy​]=x[ac​]+y[bd​]=[ax+bycx+dy​]

对于在一个二维平面上的所有二维向量$\boldsymbol{\vec{v}}$v，左乘矩阵$\boldsymbol{A}$A都对应了一种变换。因此从几何角度看，这种变换相当于把整个二维平面进行了变换（类似于实数函数对一维的数轴的变形）。而这种变形从定义中就可以看出任意向量在变换前的坐标为:
$\boldsymbol{\vec{v}} = \begin{bmatrix} x \\ y \end{bmatrix} = x\boldsymbol{\vec{i}} + y\boldsymbol{\vec{j}}$v=[xy​]=xi+yj​

变换后其坐标变为
$\boldsymbol{\vec{v'}} = x\boldsymbol{\vec{i'}} + y\boldsymbol{\vec{j'}} = x\begin{bmatrix} a \\ c \end{bmatrix} + y\begin{bmatrix} b \\ d \end{bmatrix} = \begin{bmatrix} ax+by \\ cx+dy \end{bmatrix}$v′=xi′+yj′​=x[ac​]+y[bd​]=[ax+bycx+dy​]

几何角度来看，基向量发生了对应变化：
$\boldsymbol{\vec{i}} = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \rightarrow \boldsymbol{\vec{i'}} = \begin{bmatrix} a \\ c \end{bmatrix} ; \quad \boldsymbol{\vec{j}} = \begin{bmatrix} 0 \\ 1 \end{bmatrix} \rightarrow \boldsymbol{\vec{j'}} = \begin{bmatrix} b \\ d \end{bmatrix}$i=[10​]→i′=[ac​];j​=[01​]→j′​=[bd​]

这种左乘一个实数矩阵的操作，也就称为对空间的线性变换（Linear Transformation），变换后第$i$i个基向量变换到矩阵中第$i$i列所表示的向量的位置。严格来说，一个变换$L$L若满足如下两点则称为线性变换：

• 可加性（Additivity）：$L(\boldsymbol{\vec{v}}+\boldsymbol{\vec{w}}) = L(\boldsymbol{\vec{v}}) + L(\boldsymbol{\vec{w}})$L(v+w)=L(v)+L(w)
• 一次齐性/成比例性（Scaling）：$L(c\boldsymbol{\vec{v}}) = cL(\boldsymbol{\vec{v}})$L(cv)=cL(v)

几何角度来看，对于二维空间进行线性变换，变换前后原点位置不变，空间的网格线保持平行和等距。对二维空间的线性变换举例如下：

• 逆时针旋转90°：
  $\begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix} ; \; \boldsymbol{\vec{i}} = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \rightarrow \boldsymbol{\vec{i'}} = \begin{bmatrix} 0 \\ 1 \end{bmatrix} ; \; \boldsymbol{\vec{j}} = \begin{bmatrix} 0 \\ 1 \end{bmatrix} \rightarrow \boldsymbol{\vec{j'}} = \begin{bmatrix} -1 \\ 0 \end{bmatrix}$[01​−10​];i=[10​]→i′=[01​];j​=[01​]→j′​=[−10​]
• 逆时针旋转30°：
  $\begin{bmatrix} \cos{\frac{\pi}{6}} & -\sin{\frac{\pi}{6}} \\ \sin{\frac{\pi}{6}} & \cos{\frac{\pi}{6}} \end{bmatrix} ; \; \boldsymbol{\vec{i}} = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \rightarrow \boldsymbol{\vec{i'}} = \begin{bmatrix} \cos{\frac{\pi}{6}} \\ \sin{\frac{\pi}{6}} \end{bmatrix} ; \; \boldsymbol{\vec{j}} = \begin{bmatrix} 0 \\ 1 \end{bmatrix} \rightarrow \boldsymbol{\vec{j'}} = \begin{bmatrix} -\sin{\frac{\pi}{6}} \\ \cos{\frac{\pi}{6}} \end{bmatrix}$[cos6π​sin6π​​−sin6π​cos6π​​];i=[10​]→i′=[cos6π​sin6π​​];j​=[01​]→j′​=[−sin6π​cos6π​​]
• 剪切（Shear）：
  $\begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix} ; \; \boldsymbol{\vec{i}} \text{不变}; \; \boldsymbol{\vec{j}} = \begin{bmatrix} 0 \\ 1 \end{bmatrix} \rightarrow \boldsymbol{\vec{j'}} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$[10​11​];i不变;j​=[01​]→j′​=[11​]
• 没有任何操作的变换（单位矩阵）：
  $\boldsymbol{I} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} ; \; \boldsymbol{\vec{i}},\boldsymbol{\vec{j}} \text{均不变}$I=[10​01​];i,j​均不变

2.2 矩阵乘法

从几何意义很容易理解，向量左乘一个矩阵$\boldsymbol{A}$A表示对向量空间进行了一种线性变换，若再左乘一个矩阵$\boldsymbol{B}$B，则表示在之前变换的基础上继续进行另一种线性变换。因此这两个矩阵的乘积实际上也可以用一个矩阵表示，代表空间按这两个矩阵定义的线性变换后的复合变换。注意这种变换是有顺序的，且顺序是自左向右。如$\boldsymbol{B}*\boldsymbol{A}$B∗A表示先进行$\boldsymbol{A}$A表示的变换，再进行$\boldsymbol{B}$B表示的变换，这种复合变换不一定等同于$\boldsymbol{A}*\boldsymbol{B}$A∗B表示的复合变换。即矩阵乘法不符合交换律$\boldsymbol{A}*\boldsymbol{B} \neq \boldsymbol{B}*\boldsymbol{A}$A∗B​=B∗A。从几何意义也可以很容易解释，如对二维平面先旋转90°再进行剪切，和先进行剪切再旋转90°操作，两种结果是不一样的：

之前提到，矩阵在表示空间线性变换时，其第$i$i列即为第$i$i个基向量在变换后所在的位置。因此可以从这个几何解释推得矩阵乘法的计算方式：
$\boldsymbol{B} * \boldsymbol{A} * \boldsymbol{\vec{v}} = \begin{bmatrix} e & f \\ g & h \end{bmatrix} * \begin{bmatrix} a & b \\ c & d \end{bmatrix} * \boldsymbol{\vec{v}}$B∗A∗v=[eg​fh​]∗[ac​bd​]∗v

先左乘矩阵$\boldsymbol{A} = \begin{bmatrix} a & b \\ c & d \end{bmatrix}$A=[ac​bd​]表示基向量进行了如下变换：
$\begin{aligned} & \boldsymbol{\vec{i'}} = \boldsymbol{A} * \boldsymbol{\vec{i}} = \begin{bmatrix} a & b \\ c & d \end{bmatrix} * \begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} a \\ c \end{bmatrix} \\ & \boldsymbol{\vec{j'}} = \boldsymbol{A} * \boldsymbol{\vec{j}} = \begin{bmatrix} a & b \\ c & d \end{bmatrix} * \begin{bmatrix} 0 \\ 1 \end{bmatrix} = \begin{bmatrix} b \\ d \end{bmatrix} \end{aligned}$​i′=A∗i=[ac​bd​]∗[10​]=[ac​]j′​=A∗j​=[ac​bd​]∗[01​]=[bd​]​

再左乘矩阵$\boldsymbol{B} = \begin{bmatrix} e & f \\ g & h \end{bmatrix}$B=[eg​fh​]表示基向量继续进行如下变换：
$\begin{aligned} & \boldsymbol{\vec{i''}} = \boldsymbol{B} * \boldsymbol{\vec{i'}} = \begin{bmatrix} e & f \\ g & h \end{bmatrix} * \begin{bmatrix} a \\ c \end{bmatrix} = \begin{bmatrix} ae + cf \\ ag + ch \end{bmatrix} \\ & \boldsymbol{\vec{j''}} = \boldsymbol{B} * \boldsymbol{\vec{j'}} = \begin{bmatrix} e & f \\ g & h \end{bmatrix} * \begin{bmatrix} b \\ d \end{bmatrix} = \begin{bmatrix} be + df \\ bg + dh \end{bmatrix} \end{aligned}$​i′′=B∗i′=[eg​fh​]∗[ac​]=[ae+cfag+ch​]j′′​=B∗j′​=[eg​fh​]∗[bd​]=[be+dfbg+dh​]​

综上，两个矩阵乘法表示先后（从左至右）进行两个矩阵表示的线性变换的复合变换。因此复合变换的矩阵也就是变换后的基向量所组成的矩阵，计算结果即为：
$\boldsymbol{B} * \boldsymbol{A} = \begin{bmatrix} e & f \\ g & h \end{bmatrix} * \begin{bmatrix} a & b \\ c & d \end{bmatrix} = \begin{bmatrix} \boldsymbol{\vec{i''}} , \boldsymbol{\vec{j''}} \end{bmatrix} = \begin{bmatrix} ae + cf & be + df \\ ag + ch & bg + dh \end{bmatrix}$B∗A=[eg​fh​]∗[ac​bd​]=[i′′,j′′​​]=[ae+cfag+ch​be+dfbg+dh​]

可以看到$2 \times 2$2×2的矩阵乘法就已经比较复杂了，更高维度的矩阵乘法表示起来也就更复杂了，因此通过数学方式证明矩阵乘法符合结合律也不简单。不过从几何意义考虑这个问题则非常简单，既然左乘一个矩阵表示对空间的线性变换，那么先进行$\boldsymbol{A}$A和$\boldsymbol{B}$B表示的复合变换，再进行$\boldsymbol{C}$C表示的变换；与先进行$\boldsymbol{A}$A表示的变换，再进行$\boldsymbol{B}$B和$\boldsymbol{C}$C表示的复合变换的结果在几何角度上很明显是一致的。因此$(\boldsymbol{C} * \boldsymbol{B}) * \boldsymbol{A} = \boldsymbol{C} * (\boldsymbol{B} * \boldsymbol{A})$(C∗B)∗A=C∗(B∗A)，也就是说矩阵乘法符合结合律。

2.3 行列式

对空间进行线性变换往往涉及到对空间的“挤压”或“拉伸”，也就是对空间的缩放（Scaling）。在二维平面中体现为面积的缩放，三维空间中体现为体积的缩放。因此一个$N \times N$N×N的矩阵所表示的N维空间上的线性变换导致对空间进行缩放的比例就是该矩阵行列式（Determinant）的值。如对二维空间进行逆时针旋转90°，其变换矩阵对应的行列式：
$\begin{vmatrix} 0 & -1 \\ 1 & 0 \end{vmatrix} = 1$∣∣∣∣​01​−10​∣∣∣∣​=1

这也很符合几何直觉，即旋转并不会引起面积的变化。学过线性代数都知道行列式的值可能为负，但面积和体积并不会为负。因此行列式为负值时，负号表示空间的朝向（Orientation）发生了变化，行列式的绝对值仍然表示空间的缩放比例。在二维空间中表示平面发生了偏转（Flip），三维空间中则表示坐标系的手性发生了变化。左右手坐标系的定义见下图：

当行列式为0时，则表示二维平面上的面积、三维空间中的体积变为0。自然也容易想象得出是二维平面被压缩变形成了一条直线或一个点；三维空间被压缩变形成了一个平面、一条直线或一个点，这往往也就被称为空间降维。如果一个$N \times N$N×N的矩阵对应的行列式为0，则表示该矩阵所代表的变换使得N维空间的维度降低。也就是说变换后的n个基向量所张成的空间维度降低了，即变换后的n个基向量之间存在线性关系，也就是该矩阵中的一列或多列是线性相关的。

根据行列式的几何意义，也可以从二维平面上推得行列式的计算方法。假设对二维平面进行矩阵$\boldsymbol{A} = \begin{bmatrix} a & b \\ c & d \end{bmatrix}$A=[ac​bd​]所表示的变换，该变换不会导致降维。根据之前已经了解到的，基向量为互相垂直的单位向量$\boldsymbol{\vec{i}} = \begin{bmatrix} 1 \\ 0 \end{bmatrix};\boldsymbol{\vec{j}} = \begin{bmatrix} 0 \\ 1 \end{bmatrix}$i=[10​];j​=[01​]，因此变换前基向量围成的正方形面积即为1。
变换后基向量分别为$\boldsymbol{\vec{i'}} = \begin{bmatrix} a \\ c\end{bmatrix};\boldsymbol{\vec{j'}} = \begin{bmatrix} b \\ d\end{bmatrix}$i′=[ac​];j′​=[bd​]，那么变换后基向量围成的平行四边形的面积也就是变换矩阵行列式$|\boldsymbol{A}| = \begin{vmatrix} a & b \\ c & d \end{vmatrix}$∣A∣=∣∣∣∣​ac​bd​∣∣∣∣​的值。视频中截一个图我想已经表示的足够清晰了：

这时就可以感觉到如果从几何角度看线性代数中的各种定义和规则，明显要比死记硬背简单得多。同样从几何意义也很容易理解矩阵乘法的行列式规则：
$|\boldsymbol{A}*\boldsymbol{B}| = |\boldsymbol{A}| * |\boldsymbol{B}|$∣A∗B∣=∣A∣∗∣B∣

矩阵乘法$\boldsymbol{A}*\boldsymbol{B}$A∗B表示的复合变换等同于对空间先进行$\boldsymbol{B}$B表示的变换，再进行$\boldsymbol{A}$A表示的变换。那么空间的缩放比例自然也就是先缩放了$|\boldsymbol{B}|$∣B∣倍，再缩放了$|\boldsymbol{A}|$∣A∣倍。$\boldsymbol{A}*\boldsymbol{B}$A∗B表示的复合变换前后空间整体缩放的倍数也就是$|\boldsymbol{A}| * |\boldsymbol{B}|$∣A∣∗∣B∣倍了。

此外，行列式在二维平面上往往还可以计算两个向量$\boldsymbol{\vec{v}}$v和$\boldsymbol{\vec{w}}$w所围成的平行四边形的面积。由于两个互相垂直的单位基向量$\boldsymbol{\vec{i}}$i和$\boldsymbol{\vec{j}}$j​所围成的面积一定是1，那么求解向量$\boldsymbol{\vec{v}}$v和$\boldsymbol{\vec{w}}$w所围成的平行四边形的面积完全可以等效于将空间进行变换，使得变换后一对基向量分别落在这两个向量上，那么这个变换所对应的对空间的缩放比例就是其变换矩阵的行列式的值。而矩阵$\boldsymbol{A}=[\boldsymbol{\vec{v}},\boldsymbol{\vec{w}}]$A=[v,w]所代表的就是上面所要求的那种变换，因此该矩阵的行列式的值就是这两个向量$\boldsymbol{\vec{v}}$v和$\boldsymbol{\vec{w}}$w所围成的平行四边形的面积。当然，由于矩阵行列式有正有负，负值代表了平面发生了翻转，也就是说本来基向量$\boldsymbol{\vec{i}}$i是在基向量$\boldsymbol{\vec{j}}$j​的右边，如果最后基向量所在的位置反了，也就是$\boldsymbol{\vec{v}}$v落在了$\boldsymbol{\vec{w}}$w的左边，那行列式也就是负值。不过其绝对值仍然可以表示面积。

2.4 矩阵的用途（线性方程组）

之前都是将一个$N \times N$N×N的矩阵看做是对N维空间的一种线性变换。但矩阵的用途不止于此，例如下面的线性方程组（Linear System of Equations）也一样可以通过矩阵与向量相乘来定义：
$\left\{\begin{array}{c} 2x+ 5y + 3z = -3 \\ 4x+ 0y + 8z = 0 \\ 1x+ 3y + 0z = 2 \end{array}\right. \Leftrightarrow \begin{bmatrix} 2 & 5 & 3 \\ 4 & 0 & 8 \\ 1 & 3 & 0 \end{bmatrix} * \begin{bmatrix} x \\ y \\ z \end{bmatrix} = \begin{bmatrix} -3 \\ 0 \\ 2 \end{bmatrix}$⎩⎨⎧​2x+5y+3z=−34x+0y+8z=01x+3y+0z=2​⇔⎣⎡​241​503​380​⎦⎤​∗⎣⎡​xyz​⎦⎤​=⎣⎡​−302​⎦⎤​

从矩阵与向量乘法的几何意义也可以将求解该方程组的问题转化为一个几何问题：在经过矩阵$\boldsymbol{A} = \begin{bmatrix} 2 & 5 & 3 \\ 4 & 0 & 8 \\ 1 & 3 & 0 \end{bmatrix}$A=⎣⎡​241​503​380​⎦⎤​所表示的变换后，原来的哪个向量$\boldsymbol{\vec{x}} = \begin{bmatrix} x \\ y \\ z \end{bmatrix}$x=⎣⎡​xyz​⎦⎤​会落在$\boldsymbol{\vec{v}} = \begin{bmatrix} -3 \\ 0 \\ 2 \end{bmatrix}$v=⎣⎡​−302​⎦⎤​的位置上？

2.5 矩阵的逆

接下来继续从几何角度尝试解决$\boldsymbol{A}*\boldsymbol{\vec{x}}=\boldsymbol{\vec{v}}$A∗x=v这个问题。既然$\boldsymbol{\vec{x}}$x就是向量$\boldsymbol{\vec{v}}$v在经过矩阵$\boldsymbol{A}$A所表示的变换后所在的位置。那想知道原来的向量，把空间再反向变换回去不就行了么。没错，这也就引出了矩阵的逆（Inverse）的概念：矩阵$\boldsymbol{A}$A表示的变换的逆向变换所对应的矩阵，称为矩阵$\boldsymbol{A}$A的逆，表示为$\boldsymbol{A^{-1}}$A−1。从这种几何解释也很容易得出逆矩阵的数学定义：
$\boldsymbol{A}\boldsymbol{A^{-1}} = \boldsymbol{A^{-1}}\boldsymbol{A} = \boldsymbol{I}$AA−1=A−1A=I

这种数学定义也很容易从几何角度理解，既然矩阵的逆就表示原矩阵所对应空间变换的逆变换。那么先进行原矩阵表示的变换，再进行逆变换，最后复合变换的结果自然是空间没变换嘛，也就是相当于左乘一个单位矩阵。反过来，如果先进行逆变换，再进行逆变换的逆变换（即原矩阵表示的变换），明显一样相当于没变换。我想这种逻辑小学生都很容易就理解了吧(#^.^#)

有了逆矩阵，我们自然也就可以求解之前的问题了：
$\boldsymbol{A}\boldsymbol{\vec{x}}=\boldsymbol{\vec{v}} \Leftrightarrow \boldsymbol{A^{-1}}\boldsymbol{A}\boldsymbol{\vec{x}}=\boldsymbol{A^{-1}}\boldsymbol{\vec{v}} \Leftrightarrow \boldsymbol{\vec{x}}=\boldsymbol{A^{-1}}\boldsymbol{\vec{v}}$Ax=v⇔A−1Ax=A−1v⇔x=A−1v

不过若变换矩阵的行列式为0（$|\boldsymbol{A}|=0$∣A∣=0），该问题就略显复杂了。之前就讨论过行列式为0的矩阵对应的变换会导致空间的降维。比如把一个二维平面压缩成一条直线，然而把一个平面压缩成同一条直线的方式并不止一种，因此其逆向变换（“解压缩”）的方式同样也不止一种。展示一张图作为例子：

矩阵$\begin{bmatrix} 1 & -1 \\ 1 & -1 \end{bmatrix}$[11​−1−1​]和矩阵$\begin{bmatrix} 1 & 2 \\ 1 & 2 \end{bmatrix}$[11​22​]对应的行列式的值均为0，这两个矩阵都是将二维平面压缩到了$y=x$y=x这条直线上。但很明显压缩的方式不同，因为压缩后基向量的位置并不一样，并且随便挑选一个向量$\begin{bmatrix} 1 \\ 1 \end{bmatrix}$[11​]，其在变换后也处于不同的位置：矩阵$\begin{bmatrix} 1 & -1 \\ 1 & -1 \end{bmatrix}$[11​−1−1​]将该向量压缩成了$\boldsymbol{\vec{0}}$0向量；矩阵$\begin{bmatrix} 1 & 2 \\ 1 & 2 \end{bmatrix}$[11​22​]则将该向量拉长到$\begin{bmatrix} 3 \\ 3 \end{bmatrix}$[33​]。

从几何角度很容易理解行列式为0的矩阵对应了空间的降维，是没有逆矩阵的（“解压缩”的方式太多），因此$\boldsymbol{A}\boldsymbol{\vec{x}}=\boldsymbol{\vec{v}}$Ax=v就无法根据逆矩阵求解了。$\boldsymbol{\vec{x}}$x要么有无数个解，要么无解。其实这一点也很容易从几何角度理解。比如上面的例子，两个矩阵都将二维平面压缩在了$y=x$y=x这条直线上。也就是说原来平面上的任何一个向量$\boldsymbol{\vec{x}}$x，经过矩阵的变换后（$\boldsymbol{A}\boldsymbol{\vec{x}}$Ax）都会落在$y=x$y=x这条直线上。因此如果$\boldsymbol{\vec{v}}$v并不在这条直线上，很明显是无解的。而对于矩阵$\begin{bmatrix} 1 & -1 \\ 1 & -1 \end{bmatrix}$[11​−1−1​]，不仅是向量$\begin{bmatrix} 1 \\ 1 \end{bmatrix}$[11​]，原先所有落在$y=x$y=x这条直线上的向量，最后都会被压缩到原点，即零向量$\boldsymbol{\vec{0}}$0；对于矩阵$\begin{bmatrix} 1 & 2 \\ 1 & 2 \end{bmatrix}$[11​22​]，同样不仅是向量$\begin{bmatrix} 1 \\ 1 \end{bmatrix}$[11​]，原先所有落在$x+2y=3$x+2y=3这条直线上的向量，也都会落在$\begin{bmatrix} 3 \\ 3 \end{bmatrix}$[33​]这个位置。因此如果$\boldsymbol{\vec{v}}$v为零向量$\boldsymbol{\vec{0}}$0、或在$y=x$y=x这条直线上，那么$\boldsymbol{A}\boldsymbol{\vec{x}}=\boldsymbol{\vec{v}}$Ax=v就有无数个解。视频中的一个截图也很能说明这个问题：

2.6 克莱姆法则（Cramer’s Rule）

视频中这一节在最后一节，但我想可能是作者最后加上来的，在这里就把它提出来比较好。在这个小节中均假设矩阵$\boldsymbol{A}$A的行列式不等于0，那么矩阵就确定是存在逆矩阵$\boldsymbol{A^{-1}}$A−1的，则$\boldsymbol{A}\boldsymbol{\vec{x}}=\boldsymbol{\vec{v}}$Ax=v就可以通过逆矩阵求解向量$\boldsymbol{\vec{x}}$x。但逆矩阵的求解往往非常复杂，常用的一个方法叫克莱姆法则，该法则从几何角度是很容易理解的。

根据之前对行列式的理解，行列式表示对空间进行矩阵所代表的线性变换，所导致的缩放比例。在二维平面上就体现为面积的变化，而且每个区域的面积变化是一样的。那么在变换后向量$\boldsymbol{\vec{v}}$v与变换后的一对基向量$\boldsymbol{\vec{i'}}$i′和$\boldsymbol{\vec{j'}}$j′​所围成的两个平行四边形的面积，一样分别比变换前的向量$\boldsymbol{\vec{x}}$x与两个基向量$\boldsymbol{\vec{i}}$i和$\boldsymbol{\vec{j}}$j​所围成的两个平行四边形面积变化了$|\boldsymbol{A}|$∣A∣倍。还是上一张图更好说明问题：

图中也展示出来了，变换之前向量$\boldsymbol{\vec{x}}$x与基向量$\boldsymbol{\vec{i}}$i围成的面积就是其y坐标的绝对值；其与$\boldsymbol{\vec{j}}$j​所围成的面积就是其x坐标的绝对值。而变换后的向量$\boldsymbol{\vec{x'}}$x′与基向量$\boldsymbol{\vec{i'}}$i′所围成的面积，就是矩阵$[\boldsymbol{\vec{i'}},\boldsymbol{\vec{x'}}]$[i′,x′]的行列式的值；对应地，变换后的向量$\boldsymbol{\vec{x'}}$x′与基向量$\boldsymbol{\vec{j'}}$j′​所围成的面积，就是矩阵$[\boldsymbol{\vec{x'}},\boldsymbol{\vec{j'}}]$[x′,j′​]的行列式的值。这也就从几何角度推出了克莱姆法则：
$\boldsymbol{A} * \boldsymbol{\vec{x}} = \boldsymbol{\vec{x'}} \Leftrightarrow \begin{bmatrix} a & b \\ c & d \end{bmatrix} * \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} h \\ k \end{bmatrix}$A∗x=x′⇔[ac​bd​]∗[xy​]=[hk​]
$x = \frac{\begin{vmatrix} \boldsymbol{\vec{x'}},\boldsymbol{\vec{j'}} \end{vmatrix}} {\begin{vmatrix} \boldsymbol{A} \end{vmatrix}} ; \; y = \frac{\begin{vmatrix} \boldsymbol{\vec{i'}},\boldsymbol{\vec{x'}} \end{vmatrix}} {\begin{vmatrix} \boldsymbol{A} \end{vmatrix}} \Leftrightarrow x = \frac{\begin{vmatrix} h & b \\ k & d \end{vmatrix}} {\begin{vmatrix} a & b \\ c & d \end{vmatrix}} ; \; y = \frac{\begin{vmatrix} a & h \\ c & k \end{vmatrix}} {\begin{vmatrix} a & b \\ c & d \end{vmatrix}}$x=∣∣​A​∣∣​∣∣∣​x′,j′​​∣∣∣​​;y=∣∣​A​∣∣​∣∣∣​i′,x′​∣∣∣​​⇔x=∣∣∣∣​ac​bd​∣∣∣∣​∣∣∣∣​hk​bd​∣∣∣∣​​;y=∣∣∣∣​ac​bd​∣∣∣∣​∣∣∣∣​ac​hk​∣∣∣∣​​

2.7 矩阵的秩

上面说到当一个$N \times N$N×N的矩阵对应的行列式的值为0的时候，表示该变换导致了空间的降维。但举了一个例子只是把二维平面压缩成了一条直线。如果是一个$3 \times 3$3×3的矩阵，矩阵对应的变换将三维空间压缩成一个平面或者一条直线、甚至是一个点的时候，行列式均为0。因此仅凭借行列式为0并不能判断出矩阵将空间压缩得有多厉害，所以定义一个概念为矩阵的秩（Rank）。从几何角度来说，矩阵的秩就表示按照矩阵对空间进行变换之后空间的维度数量。比如一个三维空间在经过矩阵$\boldsymbol{A}$A变换后被压缩成了一个平面，那么矩阵的秩$R(\boldsymbol{A})=2$R(A)=2；如果三维空间被压缩成了一条直线，矩阵的秩$R(\boldsymbol{A})=1$R(A)=1。

进一步，如果一个$N \times N$N×N的矩阵的秩$R(\boldsymbol{A}) \lt n$R(A)<n，则说明该矩阵一定导致了空间的降维，那么一定有$|\boldsymbol{A}|=0$∣A∣=0；反之，若$N \times N$N×N的矩阵的秩$R(\boldsymbol{A}) = n$R(A)=n，那么一定有$|\boldsymbol{A}| \neq 0$∣A∣​=0，该矩阵也被称为满秩（Full Rank）矩阵。因为$N \times N$N×N的矩阵的秩最大也就是N了。

2.8 列空间、零空间

无论经过矩阵变换后的空间有多少维度，变换后所有可能的输出向量的集合也就称为这个矩阵的列空间（Column Space）。其实也就是经过这个矩阵变换后的基向量（即这个矩阵每一列对应的向量），所能张成的空间。

之前提到如果一个$N \times N$N×N的矩阵的秩$R(\boldsymbol{A}) \lt n$R(A)<n，则说明该矩阵一定导致了空间的降维，一定有$|\boldsymbol{A}|=0$∣A∣=0。这种降维也一定会导致有很多原先的非零向量被压缩到原点，也就是被压缩成零向量$\boldsymbol{\vec{0}}$0。这一组最终被压缩成零向量的向量集合，就被称为矩阵的零空间（Null Space），或核（Kernel）。该概念可以与特征向量关联，详见后面特征向量部分。

比如之前举的那个例子，矩阵$\begin{bmatrix} 1 & -1 \\ 1 & -1 \end{bmatrix}$[11​−1−1​]对应的变换将二维平面压缩在了$y=x$y=x这条直线上，并且原先所有落在$y=x$y=x这条直线上的向量，最后都会被压缩成$\boldsymbol{\vec{0}}$0。因此所有落在$y=x$y=x这条直线上的向量就称为矩阵$\begin{bmatrix} 1 & -1 \\ 1 & -1 \end{bmatrix}$[11​−1−1​]的零空间或核。

很容易从几何角度理解矩阵$\boldsymbol{A}$A的零空间，是所有经$\boldsymbol{A}$A代表的线性变换之后为$\boldsymbol{\vec{0}}$0的向量，也就是$\boldsymbol{A}\boldsymbol{\vec{x}}=\boldsymbol{\vec{0}}$Ax=0的解的集合。也很容易从几何角度推知若矩阵是满秩的，空间没有降维，也就只有$\boldsymbol{\vec{0}}$0本身还是零向量。

2.9 非方阵

之前的内容都是以一个$N \times N$N×N的矩阵进行的，这种正方形的矩阵也被称为方阵。其对应的变换就是对N维空间的线性变换，也就是说输入一个N维向量，对应输出一个也是N维的向量。那么如果我想输入一个N维向量，输出一个M维的向量怎么办。这时就需要非正方形的矩阵了，一个$M \times N$M×N的矩阵就可以把一个N维向量变成M维向量。
$\left[\begin{array}{ccc} {a_{11}} & {a_{12}} & {\cdots} & {a_{1 N}} \\ {\vdots} & {\vdots} & {\ddots} & {\vdots} \\ {a_{M 1}} & {a_{M 2}} & {\cdots} & {a_{M N}} \end{array}\right] \times\left[\begin{array}{c} {x_{1}} \\ {\vdots} \\ {x_{N}} \end{array}\right]=\left[\begin{array}{c} {y_{1}} \\ {\vdots} \\ {y_{M}} \end{array}\right]$⎣⎢⎡​a11​⋮aM1​​a12​⋮aM2​​⋯⋱⋯​a1N​⋮aMN​​⎦⎥⎤​×⎣⎢⎡​x1​⋮xN​​⎦⎥⎤​=⎣⎢⎡​y1​⋮yM​​⎦⎥⎤​

接下来就举两个具体的例子，其中也加入了一些个人理解。比如一个$3 \times 2$3×2的矩阵，就能将一个2维向量变成一个3维向量。其实可以做如下等同：
$\begin{bmatrix} a & b \\ c & d \\ e & f \end{bmatrix} * \begin{bmatrix} x \\ y \end{bmatrix} \Leftrightarrow \begin{bmatrix} a & b & 0 \\ c & d & 0 \\ e & f & 0 \end{bmatrix} * \begin{bmatrix} x \\ y \\ 0 \end{bmatrix}$⎣⎡​ace​bdf​⎦⎤​∗[xy​]⇔⎣⎡​ace​bdf​000​⎦⎤​∗⎣⎡​xy0​⎦⎤​

从几何角度来看，就是在一个三维空间中完全忽略了第三个基向量，即只考虑三维空间中的两个向量的线性组合。那么最后输出的结果虽然是一个三维向量，但一定落在$\begin{bmatrix} a \\ c \\ e \end{bmatrix}$⎣⎡​ace​⎦⎤​和$\begin{bmatrix} b \\ d \\ f \end{bmatrix}$⎣⎡​bdf​⎦⎤​所形成的平面上。实际上就是将一个平面的坐标系统映射到三维空间的坐标系统，其中平面系统上的基向量在这个三维空间坐标系统中的坐标就是$\begin{bmatrix} a \\ c \\ e \end{bmatrix}$⎣⎡​ace​⎦⎤​和$\begin{bmatrix} b \\ d \\ f \end{bmatrix}$⎣⎡​bdf​⎦⎤​，因此原先在这个平面上坐标为$\begin{bmatrix} x \\ y \end{bmatrix}$[xy​]的向量均可以通过左乘平面系统中的基向量在这个三维空间系统中的坐标组成的矩阵计算出其在这个三维空间坐标系统中的坐标。

再考虑$M \lt N$M<N的情况，比如一个$2 \times 3$2×3的矩阵，就能将一个3维向量变成一个2维向量。可以做如下等同：
$\begin{bmatrix} a & b & c \\ d & e & f \end{bmatrix} * \begin{bmatrix} x \\ y \\ z \end{bmatrix} \Leftrightarrow \begin{bmatrix} a & b & c \\ d & e & f \\ 0 & 0 & 0 \end{bmatrix} * \begin{bmatrix} x \\ y \\ z \end{bmatrix}$[ad​be​cf​]∗⎣⎡​xyz​⎦⎤​⇔⎣⎡​ad0​be0​cf0​⎦⎤​∗⎣⎡​xyz​⎦⎤​

从几何角度考虑，也就是简单粗暴地直接忽略某个方向上的坐标，其实让右边的$3 \times 3$3×3的方阵中的哪一列为0都可以，感觉就是考虑三维空间在某个平面上的映射。如果看成第三列是0，那么就是忽略z坐标，看三维平面在$XOY$XOY平面上的映射；如果看成第一列是0，那么就是忽略x坐标，看三维平面在$YOZ$YOZ平面上的映射；如果看成第二列是0，那么就是忽略y坐标，看三维平面在$XOZ$XOZ平面上的映射。

个人感觉从几何角度来讲，非方阵表示的并不是空间的变换，只是从不同的角度看问题。因此非方阵没有行列式，非方阵也没有逆矩阵。因此实际应用中其实往往处理的还是方阵。