AI-机器学习（9）-PCA-LDA-线性回归必备-详细实现步骤

PCA LDA用来干什么：数据降维，从高维到低维。

提取特征分量或者叫主成分分析。属于线性回归和拟合必备。

实例：比如淘宝，下单数和成交数分析。

1.PCA 最大化方差如何推出主成分？

实现步骤：1.1给定数据
                  1.2中心化
                  1.3投影坐标
                  1.4方差表示
                  1.5最大化问题
 2.LDA
  实现步骤：2.1点到超平面D的距离
                    2.2优化目标
                    2.3将距离展开
                    2.4优化目标
3.线性判别分析（有标签数据的降维和取特征值）
                  3.1定义均值
                  3.2投影后的距离
                 3.3投影后的方差
                 3.4目标函数
4.向量乘积

 

1. PCA 最大化方差如何推出主成分？

实现步骤：

1.1给定数据

1. 1. 中心化

1. 1. 投影坐标

1. 1. 方差表示

1. 1. 最大化问题

2.LDA

实现步骤

2.1.点到超平面D的距离

2.2优化目标

2.3.将距离展开

 

2.4.优化目标

3. 线性判别分析 有标签数据的降维和取特征值

与PCA不同的地方：有监督的学习方法，考虑的是标签。如图所示就不适合PCA，投影到Y轴上会乱。

实现步骤;

3.1定义均值

3.2投影后的距离

3.3投影后的方差

3.4 目标函数

内内散度矩阵。

4.附：向量乘积