【学习笔记】线性代数

线性代数学习笔记

文章有些部分前后完全没有逻辑，完全是博主自己不会的知识点打打公式

行列式

\[\sum_{p} (-1)^{f(p)} a_{1,p_1}a_{2,p_2}\dots a_{n,p_n} \]

其中 \(f(p)\) 表示 \(p\) 的逆序对数

行列式求值的性质

• 将行列式转置，行列式的值不变

  考虑求和式子中 \((-1)^{f(p)} a_{1,p_1}a_{2,p_2}\dots a_{n,p_n}\) 交换其 \(i<j\) 的 \(i,j\)

  也就是对应的元素 \(a_{i,p_i}\) 变成 \(a_{j,p_j}\)，排列逆序对跟着改变

  \({1,2,\dots j,\dots i,\dots n}\) 这里的逆序对增量和 \(p_1,p_2,\dots p_j\dots p_i\dots p_n\) 的逆序对增量抵消

  所以交换一对正负号是不变的，那么把一个 \(p_1,\dots p_n\) 的交换成标准排列，正负号也不改变

  感性理解就是把乘法式子两个改改位置是不影响大局的，但是改着改着就变成标号相转置了，所以莫名其妙地证毕了就

• 交换两行（列），行列式变号

  排列逆序对增量为 \(1\)

• 存在两个相同的行/列，行列式值不变

  \(-x=x\Rightarrow x=0\)

  推论就能得到如果成存在一行/列比例也是让行列式值会为 \(0\) 的

• 行列式值可以将一行/列的公因子提出来

  证明考虑“乘法结合律”

  这部分的推论就是范德蒙德行列式的值的求解

  也就是给定数列 \(\{x_1\dots x_n\}\) 的范德蒙德行列式表示为 \(\rm{Mat_{i,j}=x_j^{i-1}}\)

  其行列式的值是 \(\prod_{1\le i<j\le n} x_j-x_i\)

  证明考虑归纳，对于 \(n=2\) 的情况是成立的，而对于大于 \(2\) 的情况，减掉对应第一行的倍数之后发现变成了 \(n-1\) 阶的行列式，所以快乐证毕

• \[\begin{bmatrix}a_{1,1}\ a_{1,2} \dots a_{1,n}\\ a_{2,1} \ a_{2,2} \dots a_{2,n}\\ \dots \\ a_{n,1} a_{n,2}\dots a_{n,n}\end{bmatrix}=\begin{bmatrix}a_{1,1}\ \ \ \ \ \ \ a_{1,2}\ \ \ \ \ \ \ \dots\ \ \ \ \ \ \ \ \ a_{1,n}\\a_{1,1}\ \ \ \ \ \ \ a_{1,2}\ \ \ \ \ \ \ \dots\ \ \ \ \ \ \ \ \ a_{1,n}\\ \dots\\ a_{i,1}-x_1\ \ a_{i,2}-x_2\dots a_{i,n}-x_n \\ \dots \\a_{1,1}\ \ \ \ \ \ \ a_{1,2}\ \ \ \ \ \ \ \dots\ \ \ \ \ \ \ \ \ a_{1,n}\\\end{bmatrix}+\begin{bmatrix}a_{1,1}\ a_{1,2} \dots a_{1,n}\\ a_{2,1} \ a_{2,2} \dots a_{2,n}\\ \dots\\ x_1 \ x_2 \ \dots x_n\\ a_{n,1} a_{n,2}\dots a_{n,n}\end{bmatrix} \]

  证明貌似可以使用乘法分配律

  推论就是行列式的值等于一行/一列上的元素和其代数余子式的值的乘积的和

  其中元素 \((i,j)\) 的代数余子式定义为删掉 \(i\) 行 \(j\) 列的元素后的行列式的值和 \((-1)^{i+j}\)

  将一行只保留一个元素那么行列式的值就是其自己和代数余子式的乘积，那么使用上面的性质直接加一卡车 \(0\) 就证明了

矩阵

矩阵乘法的扩展

考虑向量旋转公式：

\[\binom xy\begin{bmatrix} \cos \varphi\ \ \ -\sin \varphi\\ \sin \varphi \ \ \ \cos \varphi \end{bmatrix}=\binom {x_1}{y_1} \]

貌似证明可以直接得到 \((x,y)\) 的三角表示乱杀

这矩阵还能扩展嗷！

\[\begin{bmatrix} \cos \varphi\ \ \ -\sin \varphi\\ \sin \varphi \ \ \ \cos \varphi \end{bmatrix}^n=\begin{bmatrix} \cos n\varphi\ \ \ -\sin n\varphi\\ \sin n\varphi \ \ \ \cos n\varphi \end{bmatrix} \]

对于矩阵乘法存在如下定理：

\[\rm{Det(A)Det(B)=Det(AB)} \]

证明考虑构造 \(\displaystyle{\begin{bmatrix}A\ \ O\\ -E\ \ B\end{bmatrix}}\)，之后强行把右上部分转化成 \(AB\) 的形式，交换 \(2n\) 行就得证了

下面好戏登场！

伴随矩阵及其性质

矩阵 \(A*\) 中每个元素都是原矩阵 \(A\) 对应位置的代数余子式 的矩阵叫做原来矩阵的伴随矩阵

伴随矩阵有非常多曼妙的性质：

• \(\rm{A^* \ A=A\ A^* = |A|E}\)

  考虑把结果矩阵的每个 \(b_{i,j}\) 表示出来

  \[b_{i,j}=\sum_{k=1}^n a_{i,k}A_{j,k} \]

  想想这个东西的实际含义？就是给一个删掉一部分的矩阵补上一个新的行，那么如果 \(i\neq j\) 的话结果是 \(0\)，否则是 \(|A|\)

  证毕

  这样你就可以在 \(\rm{UOJ\ Long \ Round}\) 中得到可观的分数了！

• 克拉默法则：如果一个 \(n\) 阶一次方程的系数矩阵不为 \(0\)，那么方程存在唯一解：

  \[x_i=\frac{|A_i|}{|A|} \]

  其中 \(A_i\) 表示将矩阵的第 \(i\) 列改成方程组右侧的常数矩阵所得到的结果

  证明首先将式子写成 \(Ax=b\) 的向量乘法形式，其中 \(x\) 表示解的列向量

  将两边同时乘一个 \(A^{-1}\)，再使用伴随矩阵把式子转化如下：

  \[x=\frac{1}{|A|}A* b \]

  这样子直接往里面保留分母，大力带入分子，使用同一列代数余子式的和等于行列式值就可以证明了

矩阵的初等变换

初等变换分为初等行变换和初等列变换，有如下三：

• 将一行/列交换

• 将一行/列上的元素同时乘一个常数 \(k\)

• 用一行减掉另一行的若干倍

不难发现这些操作是可逆的

如果一个矩阵 \(A\) 可以通过初等行/列变换变成另一个矩阵 \(B\) ，那么称这两个矩阵行/列等价

如果一个矩阵可以通过初等变换得到另一个矩阵，则乘两个矩阵等价

定义初等矩阵是单位矩阵通过一次基本行变换所能得到的矩阵

初等矩阵乘法的性质

对于一个 \(m\times n\) 的矩阵 \(A\)，将其与初等矩阵进行乘法会有如下性质：

• 一个 \(n\) 阶的初等矩阵 \(E(x,y)\) 满足 \(E_{i,i}=1,E_{x,y}=k\)（这里的 \(x,y\) 是特殊的），\(AE\) 得到结果是将 \(A\) 的第 \(x\) 列乘 \(k\) 加到第 \(y\) 列上面

• 类似的，如果一个 \(m\) 阶矩阵满足 \(E_{x,y}=k,E_{i,i}=1\)，其左乘矩阵 \(A\) 的结果就是将 \(A\) 矩阵的第 \(x\) 行乘 \(k\) 加到第 \(y\) 行上

这些初等矩阵的逆矩阵是容易求到的，甚至可以直接使用矩阵变换的含义做出来

至此，矩阵求逆 问题解决：一个矩阵的逆就是若干个初等矩阵的乘积，这些初等矩阵所代表的的初等行变换可以使原矩阵变成单位矩阵

如果一个矩阵没有逆矩阵当且仅当其无法进行若干次初等行变换变成一个单位矩阵

一个矩阵左乘或右乘其逆矩阵都是单位矩阵，证明不再赘述

矩阵初等变换定理：

• 两个矩阵行等价的充要条件是存在一个矩阵满足 \(\rm{PA=B}\)

• 两个矩阵列等价的充要条件是存在一个矩阵满足 \(\rm{AQ=B}\)

• 两个矩阵等价的充要条件是存在一个矩阵满足 \(\rm{PAQ=B}\)

  上述的矩阵 \(P,Q\) 均为可逆矩阵

  证明就是把和上面矩阵求逆类似，都是把初等行变换的矩阵累乘即可

其实有没有发现，乘一个可逆矩阵本质上就是做了若干次初等变换，所以初等行变换可以视作整数中的质因子

矩阵的秩

这个必须要会会会！

一个矩阵的 \(k\) 阶子式定义是选出来 \(k\) 行 \(k\) 列，不改变原来的相对位置的情况下得到的方阵

一个重要性质是 两个矩阵可以互相进行初等行变换得到则其最高非零子式的值阶数相同

理解方式很多，比如对于一个线性方程组，可以确定的未知数的个数是一定的

矩阵的秩 相应定义为最高非零子式的阶数，记作 \(R(A)\)

一些基础的性质就比如 \(R(A)=R(A^T)\)，初等变换并不会改变矩阵的秩的大小

后面半句的证明需要对于几个初等变换见招拆招，加上另一行 \(k\) 倍直接拿行列式性质展开

不难发现可逆矩阵（或行列式不为 \(0\) 的矩阵）的秩是阶数 \(n\) 本身，不可逆矩阵的阶数小于 \(n\)

所以可逆矩阵也被称作满秩矩阵，不可逆矩阵也可以被称作降秩矩阵

矩阵秩在运算中的改变

• \(\max\{(R(A),R(B)\} \le R(A,B)\le R(A)+R(B)\)

  其中 \(A,B\) 矩阵的大小均为 \(n\times m\)，同时 \((A,B)\) 表示在 \(A\) 矩阵的右边摆上 \(B\) 得到的新矩阵

  第一个不等号的理解就是 \(A/B\) 中的最大非零子式一定是新矩阵中的非零子式，所以第一个不等号成立

  第二个考虑可能产生列向量的线性相关，那么非零子式大小变小

  另外的一种想法是使用转置矩阵进行严谨推理，是一个新套路

• \(R(AB)\le \min\{R(A),R(B)\}\)

  先证明矩阵方程 \(Ax=B\) 有解的条件是 \(R(A)=R(A,B)\)

  这里的 \(B\) 是列向量，那么理解方式就是 \(Guass\) 消元的过程

  回到原命题，设 \(AB=C\)，\(R(C)\le R(A,C)=R(A)\)，对于 \(B\) 部分有 \(B^{T}A^T=C^T\)

  后半部分实在是转置矩阵方法的基础应用

向量

\(n\) 维向量可以表示为一个 \(n\times 1\) 的矩阵，这里貌似和平素几何里面的习惯相反

若干定义

• 线性相关：称一个向量组 \(a_1,a_2\dots a_n\) 线性相关当且仅当存在一组 \(k_1,k_2\dots k_n\) 满足

  \[\sum_{i=1}^n k_ia_i=0 \]

设 \([x,y]=x^Ty\)，那么著名的 柯西不等式 可以写成 \([x,y]^2\le [x,x][y,y]\)

• 正交两个向量 正交 满足 \([x,y]=0\)，如果若干个向量两两正交，那么其线性无关

  证明使用反证法，用 \(a_i\) 去乘左右两边，将系数一一得到是 \(0\) 就结束了

• 标准正交基 为每个向量向量 长度为 \(1\) 且 相互正交 的一组基底，想要配凑空间中任意一个点 \(a\)，每个基底向量的系数是 \(\lambda_i=[a,e_i]\)

• 正交矩阵：如果一个矩阵满足 \(A^TA=E\) 即其逆是其转置，则称其为正交矩阵

  设列向量 \(\displaystyle{\begin{bmatrix} a_1\\ a_2\\ \dots \\a_n \end{bmatrix}}\) 是正交矩阵，那么此时一定有如下关系：

  \[a_i^Ta_j=\begin{cases}1\ [i=j] \\ 0 \ [i\neq j]\end{cases} \]

  那么一个正交矩阵能构成一组标准正交基

• 正交变换：\(y=Ax\)，其中 \(y,x\) 是向量，\(A\) 是正交矩阵

  一个很不错的性质是向量做完正交变换其模（范数）不变

特征值

定义一个 方阵 的特征值是满足 \(Ax=\lambda x \Rightarrow |A- \lambda E|=0\) 的所有 \(\lambda\)

表示成行列式的形式可以得到一个一元 \(n\) 次方程，这个方程也被称作矩阵的特征多项式

方阵的特征值就是其特征多项式零点的对应解

矩阵的特征向量是 \((A-\lambda_i E)x=0\) 所解出来得到的列向量 \(x=p_i\)，容易发现 \(kp_i(k\neq 0)\) 也是特征向量

特征值和特征向量均是在复数意义下定义的

• 设 \(\lambda\) 是矩阵 \(A\) 的特征值，那么满足 \(\lambda^2\) 是 \(A\) 的特征值，\(\frac{1}\lambda\) 是 \(A^{-1}\) 的特征值

• 如果 \(\lambda_{1\sim m}\) 是矩阵 \(A\) 的互异的特征值（注意这里并不需要满足矩阵的阶和特征值的个数相同），\(p_{1\sim m}\) 是对应的特征向量，特征向量都是列向量

  如果特征值互不相同，那么向量组线性无关

  证明先归纳，然后反证，即如果满足现行相关，那么下式成立：

  \[\sum_{i=1}^mx_ip_i=0 \]

  用 \(A\) 矩阵乘左右两侧，发现右边是 \(0\)，所以可以使用矩阵特征值来代替矩阵本身

  \[\sum_{i=1}^m x_i\lambda_ip_i=0 \]

  下式减上式 \(\lambda_m\) 倍，再使用向量之间现行无关的题设就得到全是 \(0\) 的错误结论，原命题得证

• 对称矩阵的特征值是实数

  这个需要 “矩阵转置方法”，设 \(x\) 是矩阵的特征向量

  \[\overline{x}^T Ax=\overline{x}^T(Ax)=\lambda \overline{x}^Tx \]

  和下式直接联立就得证了！

  \[\overline{x}^T Ax=(A^T\overline{x}^T)x=\overline{\lambda} \overline{x}^Tx=\lambda \overline{x}^Tx \]

  最后一步考虑特征值本质上是一个一元高次方程的解，那么虚根成对出现（使用因式分解相关的方法很好理解）

矩阵对角化

相似矩阵

设 \(A,B\) 都是 \(n\) 阶矩阵，如果存在可逆矩阵 \(P\) 满足：

\[P^{-1}AP=B \]

（注意矩阵乘法的顺序）

那么称 \(B\) 是 \(A\) 的相似矩阵，对 \(A\) 的操作叫做相似变换，\(P\) 是相似变换矩阵

• 性质：相似矩阵的特征值，特征多项式均相同，而特征向量不一定

  由此可以得到一个推论：矩阵 \(A\) 特征根可以将其做初等变换变成对角矩阵，此时其特征根就是对角线元素并集

  将 \(A\) 进行初等变换得到一个只有主对角线上有元素的矩阵的过程叫做矩阵的对角化

  满足能对角化需要满足向量现行无关。如果阶数个特征值互补相同也能对角化，但是命题不一定等价

LGV引理

给定有向无环图（无环来保证路径数量有限），并钦定一组大小为 \(n\) 的起始点集合和大小为 \(n\) 的终止点集合（不太能有交）

定义 \(P\) 表示一条路径，同时路径上需要带边权，对边权的限制非常苛刻，注意证明中的内容

定义 \(w(P)\) 表示一条路径上面边权积，\(e(\{P\})\) 表示一个路径集合 \(P\) 中的 \(w(P_i)\) 的和

用 \(e(u,v)\) 表示从 \(u\) 到 \(v\) 的所有路径的 \(w(P)\) 的和，写成行列式有

\[M=\begin{bmatrix} e(a_1,b_1)&e(a_1,b_2)&\cdots&e(a_1,b_n)\\e(a_2,b_1)&e(a_2,b_2)&\cdots&e(a_2,b_n)\\ \vdots&\vdots&\ddots&\vdots\\e(a_n,b_1)&e(a_n,b_2)&\cdots&e(a_n,b_n) \end{bmatrix} \]

对于该行列式的值有如下公式：

\[\rm{det(M)=\sum_{S:A\to B} (-1)^{\gamma(S)} \prod_i w(S_i)} \]

这里 \(S\) 表示没有交点的路径，这里的没有交点指路径上的点没有交集，区分于平面图上边的交点

证明

直接把行列式展开，定义往里面带入，发现 \(\rm{LHS}\) 和 \(\rm{RHS}\) 的区别在于路径是不是有交集

所以我们尝试证明对于有交集的路径集合（称为 \(P^c\)）的集合，满足：

\[\sum_{P\in P^c} (-1)^{\gamma(P)} \rm{W(P)}=0 \]

这里的 \(\rm{W(P)}\) 表示路径的边权积

因为起点终点集合大小一样，那么起点匹配的终点是一个排列

注意每个排列可能对应多个路径

找到一对有交点的路径交换交点后的部分新路径集合的权值 与 原来路径集合的权值相同，同时逆序对数取反

至此，引理得证