矩阵分解
特征值与特征向量
• 一个矩阵对应着一种线性变换，通过矩阵乘法实现对向量的旋转、压缩和映射。如图所示，如果矩阵作用于某一个向量或某些向量使这些向量只发生伸缩变换，而不产生旋转及投影的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。
特征值与特征向量的计算
• 特征值与特征向量的计算过程涉及到求解行列式，由此也可看出只有方阵才能求解其特征值与特征向量。
特征分解
• 把矩阵分解为一组特征向量和特征值，是使用最广的矩阵分解方法之一。
• 从线性空间的角度看，特征值越大，则矩阵在对应的特征向量上的方差越大，信息量越多。
• 在最优化中，矩阵特征值的大小与函数值的变化快慢有关，在最大特征值所对应的特征方向上函数值变化最大，也就是该方向上的方向导数最大。
• 应用：用于降维的PCA（Principle Component Analysis）、最优化问题、用于处理模型过拟合的正则化。
奇异值分解
• 奇异值分解的应用：PCA，数据压缩（以图像压缩为代表）算法，特征提取、数字水印和LSI（Latent semantic analysis，潜在语义分析）。
奇异值分解的几何意义
• 奇异值分解将矩阵原本混合在一起的旋转、缩放和投影的三种作用效果分解出来了。
奇异值分解应用实例 – 图像压缩
• 奇异值分解：
• 将上式中的A看作一个mn个像素组成的图像矩阵，式中奇异值矩阵中的奇异值按从大到小排列。数值越大，说明其对应的奇异向量越重要；值越小，则不是重要组成部分可以舍去。若只取前k项即能基本看清图像，则可以达到图像压缩的效果。
• 原图为一张184324的灰度图像，原图数据量为184324=59616。用SVD实现图像压缩，取图像的前70个分量来表示图像，则图像现在数据量变为18470（左奇异向量）+70（奇异值）+70*324（右奇异向量）= 35660。