声明：仅个人小记。
前言：本文是对一些数学概念的物理或者其他实际意义的延伸，简要记录一些本人遇到的数学概念的实际意义，并不一定是，提供的解析值得思考或者便于理解，或者具有更好的实用价值。
1. 行列式
行列式的规格是N*N，一定是正方形(我容易忘了) 。规格是正体，这一规则也是行列式中行和列地位等价的一个基础。
行列式的意义：行列式的绝对值是平行体的体积(在二维中是，平行四边形的面积)。行列式的正负代表体积的方向。
举例二维：
二维中，行列式的绝对值就是相应两个向量构成的平行四边形的面积。
验证如下：
任意两个二维向量，由这两个二维向量构成的平行四边形的面积为
,这个式的意思是由
，
这两个向量构成的，行列式的每一行代表一个二维向量。根据行列式的计算规则，我们很容易得到
。
我们再从几何上面求的平行四边形的面积。给定两个向量，
，现在求由这两个向量构成的平行四边形的面积。
，
，
所以，
所以，
到此，验证“二维行列式的绝对值为平行四边形面积”完毕。
由于行列性质等价，所以一个二维行列式可以看作两个行向量也可以看作是两个列向量构成平行四边形。
相应的，把这种思想推广至多维空间，得到“N*N的行列式的绝对值为N个N维向量在N维空间中构成的平行体的体积”。
现在，我们可以带着这种思想来看一看一些关于行列式的推论：
(1) 如果行列式中的某行(列)的元素全为零，则此行列式为零
构成该平形体的向量中有一个是零向量，很容易理解体积应该是零
(2) 如果一个行列式的两行(列)元素对应成比例，则此行列式为零。
构成该平形体的向量中有两个向量是共线的，显然，此时该平行体的体积为零
(3) 如果行列是中某行(列)的各元素都是两项之和，则这个行列式等于两个行列式之和。
即，构成平行体中的一个向量可以写成该向量所在维度的两个其他向量之和的形式。现在，我们根据这两个新的向量将原来的平行体转变为两个平行体。这里(有点不好说)还是很好感觉的出来新的两个平行体的体积之和为原来的平行体的体积。
(4) 把行列式的某一行(列)的元素的k倍加到另一行(列)上去，行列式的值不变。
k倍，就是其中一个向量被拉伸k倍，加到另一行上去，这是我们可以看作是两个平行体相加，同时注意到，其中一个平行体中出现共线向量，该平行体的体积必然为零。剩下的一个平行体就是原来的平行体。所以值不变。
2. 矩阵相乘
矩阵相乘的意义是：
1. 左边的矩阵中的每一行视为新空间世界的一个基向量(来源于原空间世界)，左边矩阵的所有行完全构筑了一个新的空间世界。同时，这个新世界的维度由提供的基向量组内基向量的个数决定。一个基向量代表着一个维度。
2. 右边的矩阵中的每一列视为生存与原空间世界中的普通向量。
3. 相乘的的意义就是实现映射。将原世界中的向量映射到新的空间世界。
4. 相乘的结果正是原空间世界向量在新的空间世界的表达。
这种空间变化的能力在对高维数据降维中得以体现。举例：主成分分析(PCA)（PCA是非常有意思的东西）。
3 .线性相关、线性无关在行列式中的体现
由第1点引申，一组矢量是否线性无关是描述这组矢量组成的平行体的体积是否为零。即，若线性相关，对应的行列式的值为0。否则，行列式的值不为零。
4. 特征值、特征向量
自从接触矩阵，好几年，我一直都不知道特征值和特征向量有什么存在的意义。这是一件值得悲伤的事情。
在我接触PCA主成分分析的时候，接触了特征值和特征向量的一些物理意义。
某个矩阵特征向量之所以称之为该矩阵的“特征”向量，确实是因为这个向量与众不同。
取一个方阵A的特征向量，我们写成列的形式。本质上特征向量就是取值N维空间中的一个向量构成的N*1的规格的矩阵。
从第2点可知，矩阵乘法的功能是实现原空间向量到新的空间的映射。也可以这样再理解，矩阵乘法对应了一个变换，可以把任意一个向量变成另一个方向或长度都大多不同的新向量。注意在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。这一点很重要，对这一点的认知，可以让我直接以另一种眼光来看待矩阵变换。即，一个矩阵对应的变换，本质上就是沿着该矩阵对应的各个特征向量进行按相应特征值比例的延伸或者收缩。仿佛是有不同的手，对空间进行拉伸或者压缩。
特征值代表着相应的特征向量的影响力。在PCA中，特征值越大，认为相应的特征向量越占据主导地位（因为特征值对应着该维度上方差，即离散程度，在后续推导中可以看到），降维的时候就是根据特征值的大小，扔掉影响力小的部分，保留主要影响力成分，这也就是“主成分分析”这个名字的由来。(为什么是保留主要影响力成分？因为特征值越大，意味着该维度上离散程度越高，也就意味着对原有信息的保留程度越大。我们期望的降低数据的维度同时尽量保留原有的信息。)
原矩阵为A（每一行视为一个样本，每列视为一个维度），A的协方差矩阵为。由于A中各维度之间存在数据冗余(体现在协方差不为零)。我们希望通过线性变换，切换空间，映射所有原来的数据到新的空间，使得新的一组数据各维度之间的协方差为零。这里线性变化，切换空间，就是利用上述第2点中提到的矩阵乘法切换空间的思想，我们假设一个线性变换矩阵P,那么原空间数据的变换结果为R=PA。又根据最后的效果(协方差为零)这样的目标，所以结果矩阵的R的协方差矩阵必须满足**除了对角线，其他应该都是零,R的协方差矩阵：
样子应该是这样的：
其中B是原矩阵的协方差矩阵(一定是K*K方阵，从而特征向量一定有K个)，即B是已知数据。P是未知数据。
又因为，只有当P为矩阵B的特征向量组成的矩阵时候，D才满足除了对角，其他都为零这样的要求，所以P为矩阵B的特征向量矩阵。
B的特征向量组，相应的特征值为
，根据特征向量定义公式
，
又记，
则，
则有，
从而。
5. 矩阵的秩
秩的原定义：
如果矩阵A中不为零的子式最高阶为r阶，即存在r阶子式不为零，而任何r+1子式(如果有的话)均为零，则称
为A的最高阶非零子式，称r为矩阵的秩(rank),记作
其中，关于子式的定义如下：
从m*n的矩阵A中任取k行k列，位于这些行列的相交处的元素保持原来相对位置不变所构成的k阶行列式成为矩阵A的k阶子式。
所以，子式一定是正方阵。
另外几种看待”秩”的角度：
秩就是“新世界”的维度。
秩是图像经过矩阵变换之后的维度
秩是列空间维度(列空间列是矩阵的列向量所能张成的空间。所以，列向量组中存在多少个线性无关的向量，列空间的维度就为多少，秩就为多少)
6. 把矩阵的列向量视为基向量—-线性变换(Linear Transformation)
和上面的第2点中的把矩阵的行向量视为基向量是完全不同的理解。对应着完全不同的东西。
线性变换特点： (1) 直线经过变换仍然是直线 (2) 原点经过变换位置固定不变
把矩阵的列向量视为基向量这一概念是从线性变换(Linear Transformation)中引出来的。线性变换是对线性空间的操纵。“线性空间的所有成员，即所有的向量，都是用基向量进行表示的。而线性变换的功能就是其他不变而更换基向量”，这样，整个世界就都变了，但是新的每个人和新的基向量的关系仍然和原来每个人对原来的基向量的关系一模一样，即每个人和基向量之间的关系是恒定不变的，因为每个人是跟着基向量走的，和基向量是同步的。
注意非常重要的一点
线性变换中，在线性空间变换中，所有向量和其所在线性空间的基向量是恒定的关系。
线性变换中，强调向量和基向量的关系恒定。而在上述第2点中提及的投影映射和这里的线性变换就完全不是一回事儿了，虽然都是使用矩阵相乘，但是理解的角度不同，其含义就不一样了。注意每一步骤是在哪一个空间。我是谁？我在哪？我要干什么？
7. 对角矩阵(diagonal matrix)
对角矩阵是极具魅力的！
从协方差角度看对角矩阵
对角矩阵，即主对角线以外的元素都为 0 的一个 n 阶方阵。
对角矩阵的一个实际意义： 我们把对角矩阵中的每一个元素，按该元素所在的行数 r 和列数 c ,可以理解为该元素的值代表着第 r 个基向量和 第 c个基向量之间的相关程度。如果元素为零，则正交；如果为正数，则表示正相关；如果为负，则表示负相关。再结合对角矩阵的，可以看出，对角矩阵很好的体现各个基向量之间不存在相关性。主对角线上的每一个值反映着该值所在维度上数据的离散程度。
对角矩阵可以提供非常简便的幂运算
一个普通的矩阵的高次运算是非常噩梦的。而对角矩阵的高次运算相对而言非常简洁。这是一个非常讨人喜欢的特点。
显然是第二个对角矩阵式非常容易计算的，如果真的第一个矩阵进行100次幂的运算，估计心都会碎。
然而，为什么对角矩阵的运算十分方便呢？这是一个值得思考的问题。
因为对角矩阵是对每个基向量进行拉伸
对角矩阵的主对角元素视为特征值，每一列(行)向量视为特征向量
以这样的视角来看待，结合上面第7点讨论的“把矩阵的列向量视为基向量来看待”，对角矩阵对应的空间的非常大的一个特征就是，基向量就是特征向量。那么，这个矩阵的功能就是，对各个基向量进行拉伸或者压缩。显然，对基向量进行拉伸或者压缩变换远比对其他普通向量进行拉伸或者压缩变换要简单的多。
把特征向量和基向量结合在一起，就是为了利用“对基向量的拉伸或者收缩是一件很简洁的事情”这一点，从而简化各种处理，包括数据运算和逻辑上的思考。更容易让人看到本质。
8. ”矩阵的因式分解“（将矩阵变换拆解）
2017年7月22日 12:05:16
9. 相似(对角)矩阵
魅力在于，本质上是同一个操作，即同一个变换，只是在不同基下面同一种变换有不同种的表现形式。
我们已经讲过，可以把矩阵的列向量看作是一组基向量，对应着一个新的空间。这里，我们就是把矩阵P看作是一个新的空间，A就是在P对应的空间里面的一种变换，而最后的逆矩阵 看作是反变回原来的空间。
比如，我想在坐标系T下希望对向量v进行逆时针旋转90度，我不清楚这个旋转矩阵该怎么写，但我知道，这个向量在自然基下逆旋转90度可以达到同样的效果，而且，我能够很容易的在自然基下表达出逆时针旋转90度。所以我通过基变换的方式来实现这一想法。注意： 基变换对向量不产生影响。如图：
为什么要这样做？
1. 因为矩阵A对应的线性变换相对于矩阵B要简洁的多。这是一个寻求简便方法的过程。而且，简洁的矩阵A对应的线性变换往往更能直接体现变换的本质。
2. 反过来使用，就是把复杂的矩阵A变换为一个简易的矩阵B，从而简化计算。
相似矩阵是一个很有用的工具。还没有讲完。后面再进一步涉及实对称矩阵，更是美丽无穷，尤其是实对称矩阵极好的性质和正交矩阵极好性质的结合，更是厉害。
关于实对称矩阵，我想表达的一个观点是，实对称矩阵描述的是“两两关系”，对实对称矩阵的研究，就是对“两两关系”的研究，而“两两关系”是自然界普遍存在的一种关系，所以我认为实对称矩阵很重要。”两两关系”在线性代数中最为直接的研究便是通过实对称矩阵来处理二次型。
2017年8月3日 23:26:21