问题描述：设
当时，这是一种降维算法。这里主要介绍两种降维算法：PCA与LDA。PCA是无监督的降维算法，计算出X变化最大的前N个方向并将X向这些方向投影，得到一个N维的向量Y。LDA是有监督的算法，根据类别标记找到最大化类间差异，最小化类内差异的方向。
主成分分析法（Principle Component Analysis）
将不同的样本投影到某一个方向上，若这些样本投影后具有较大的差异，则比较易于分类。所以我们要找这样一个方向a，使得X向a投影之后得到的Y的方差最大。
假设我们找到了前N个满足上述要求的方向：维的矢量。
设训练样本有P个，对方向
上述问题要求：
因为
所以
其中，
这个约束条件是因为方向的模可以认为是1。
用拉格朗日乘子法求解：
所以，