（1）矩阵乘法
在介绍特征值与特征向量的几何意义之前，先介绍矩阵乘法的几何意义。矩阵乘法对应了一个变换，是把任何一个向量变成另一个方向或长度的新向量。在这个变化过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某些变量只发生伸缩变化，不产生旋转效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。
（2）特征值分解
如果说一个向量ν是方阵A的特征向量，将一定可以表示成下面的形式：
Aν=λνAν=λν
λ为特征向量ν对应的特征值。特征值分解是将一个矩阵分解为如下形式：
A=QΣQ−1A=QΣQ−1
其中，Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角矩阵，对角线的每一个元素就是一个特征值，里面的特征值是从大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向。也就是说矩阵A的信息可以由其特征值和特征向量表示。对于矩阵为高维的情况下，那么这个矩阵就是高维空间下的一个线性变换。可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向就可以近似这个矩阵（变换）。不过，特征值分解有很多局限，比如说变换的矩阵必须是方阵。