统计学习方法笔记（十六）

统计学习方法笔记（十六）：主成分分析

定义

• 主成分分析（PCA）是一种常用的无监督学习方法，这一方法利用正交变换把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数，所以主成分分析属于降维方法

基本想法

几何解释

总体主成分分析

• 定理
  

• 规范化变量的总体主成分
  

样本主成分分析

• 定义和性质
  

• 变换后的协方差计算

相关矩阵的特征值分解算法

数据矩阵的奇异值分解算法

总结

• x的第i主成分的方差是协方差矩阵$\Sigma$Σ的第i个特征值

• 主成分有以下性质
  

• 样本主成分分析就是基于样本协方差矩阵的主成分分析
  

• 两种主成分分析方法