机器学习的数学基础-（二、线性代数）

二、线性代数

行列式

1.行列式按行（列）展开定理

(1) 设  ，则： 

或  ，即  ，

其中： 

(2) 设  为  阶方阵，则  ，但 不一定成立。

(3)  ,  为  阶方阵。

(4) 设  为  阶方阵，  （若  可逆）， 

(5)  
，  为方阵，但  。

(6) 范德蒙行列式 

设  是  阶方阵，  是  的  个特征值，则

矩阵

矩阵：  个数  排成  行  列的表格  称为矩阵，简记为  ，或者  。若  ，则称  是  阶矩阵或  阶方阵。

 

矩阵的线性运算

1.矩阵的加法

设  ,  是两个  矩阵，则  矩阵  称为矩阵  与  的和，记为  。

2.矩阵的数乘

设  是  矩阵，  是一个常数，则  矩阵  称为数  与矩阵 的数乘，记为  。

3.矩阵的乘法

设  是  矩阵，  是  矩阵，那么  矩阵  ，其中  称为  的乘积，记为 。

 

4.  、  、  三者之间的关系

(1) 

(2)  
但  不一定成立。

(3)  ， 

但  不一定成立。

(4) 

5.有关  的结论

(1) 

(2) 

(3) 若  可逆，则 

(4) 若  为  阶方阵，则：

6.有关  的结论

 可逆 

 可以表示为初等矩阵的乘积；  。

7.有关矩阵秩的结论

(1) 秩  =行秩=列秩；

(2) 

(3) 

(4) 

(5) 初等变换不改变矩阵的秩

(6)  ，特别若  
则： 

(7) 若  存在  若  存在，  。

(8)  只有零解

8.分块求逆公式

 ；  ；

 ； 

这里  ，  均为可逆方阵。

 

向量

1.有关向量组的线性表示

(1)  线性相关  至少有一个向量可以用其余向量线性表示。

(2)  线性无关，  ，  线性相关  可以由 唯一线性表示。

(3)  可以由  线性表示
 。

2.有关向量组的线性相关性

(1)部分相关，整体相关；整体无关，部分无关.

(2) ①  个  维向量  线性无关  ，

 个 维向量  线性相关
 。

②  个  维向量线性相关。

③ 若线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。

3.有关向量组的线性表示

(1) 线性相关  至少有一个向量可以用其余向量线性表示。

(2) 线性无关，  ，  线性相关  可以由 唯一线性表示。

(3) 可以由线性表示 

4.向量组的秩与矩阵的秩之间的关系

设  ，则  的秩  与  的行列向量组的线性相关性关系为：

(1) 若  ，则  的行向量组线性无关。

(2) 若  ，则  的行向量组线性相关。

(3) 若  ，则  的列向量组线性无关。

(4) 若  ，则  的列向量组线性相关。

5.  维向量空间的基变换公式及过渡矩阵

若  与  是向量空间  的两组基，则基变换公式为：

其中  是可逆矩阵，称为由基  到基  的过渡矩阵。

6.坐标变换公式

若向量  在基  与基  的坐标分别是
 ，  即： ，则向量坐标变换公式为  或  ，其中  是从基  到基  的过渡矩阵。

7.向量的内积

8.Schmidt正交化

若  线性无关，则可构造  使其两两正交，且  仅是  的线性组合  ，再把  单位化，记  ，则  是规范正交向量组。

其中  ，  ，  ，

............

9.正交基及规范正交基

向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。

 

线性方程组

1．克莱姆法则

线性方程组  ，如果系数行列式  ，

则方程组有唯一解，  ，其中  是把  中第  列元素换成方程组右端的常数列所得的行列式。

2.  阶矩阵  可逆  只有零解。  总有唯一解，一般地，  只有零解。

3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1) 设  为  矩阵，若  ，则对  而言必有  ，从而  有解。

(2) 设  为  的解，则  当  时仍为  的解；但当  时，则为  的解。特别  为  的解；  为  的解。

(3) 非齐次线性方程组  无解  不能由  的列向量  线性表示。

4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解

(1) 齐次方程组  恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此  的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是  ，解空间的一组基称为齐次方程组的基础解系。

(2)  是  的基础解系，即：

1)  是  的解；

2)  线性无关；

3)  的任一解都可以由  线性表出。
 是  的通解，其中  是任意常数。

 

矩阵的特征值和特征向量

1.矩阵的特征值和特征向量的概念及性质

(1) 设  是  的一个特征值，则  有一个特征值分别为  且对应特征向量相同（  例外）。

(2)若  为  的  个特征值，则  ,从而  没有特征值。

(3)设  为  的  个特征值，对应特征向量为  ，

若:  ,

则:  。

2.相似变换、相似矩阵的概念及性质

(1) 若  ，则
1) 

2) 

3)  ，对  成立

3.矩阵可相似对角化的充分必要条件

(1)设  为  阶方阵，则  可对角化  对每个  重根特征值  ，有 

(2) 设  可对角化，则由  有  ，从而 

(3) 重要结论

1) 若  ，则  。

2) 若  ，则  ，其中  为关于  阶方阵  的多项式。

3) 若  为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩(  )

4.实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵：设  为两个  阶方阵，如果存在一个可逆矩阵  ，使得  成立，则称矩阵  与  相似，记为  。

(2)相似矩阵的性质：如果  则有：

1) 

2)  （若  ，  均可逆）

3)  （  为正整数）

4)  ，从而  有相同的特征值

5)  ，从而  同时可逆或者不可逆

6) 秩  秩  ，  不一定相似

 

二次型

1.  个变量  的二次齐次函数

 ，其中  ，称为  元二次型，简称二次型. 若令  ,这二次型  可改写成矩阵向量形式  。其中  称为二次型矩阵，因为  ，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵  的秩称为二次型的秩。

2.惯性定理，二次型的标准形和规范形

(1) 惯性定理

对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指数与所选变换无关，这就是所谓的惯性定理。

(2) 标准形

二次型  经过合同变换  化为  称为  的标准形。在一般的数域内，二次型的标准形不是唯一的，与所作的合同变换有关，但系数不为零的平方项的个数由  唯一确定。

(3) 规范形

任一实二次型  都可经过合同变换化为规范形  ，其中  为  的秩，  为正惯性指数，  为负惯性指数，且规范型唯一。

3.用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性

 

设  正定  正定；  ,  可逆；  ，且 

 ，  正定  正定，但  ，  不一定正定。

 正定 

 的各阶顺序主子式全大于零

 的所有特征值大于零

 的正惯性指数为 

 存在可逆阵  使 

 存在正交矩阵  ，使 

 

其中  。正定  正定； 可逆；  ，且  。