PCA原理代码实现——举例

假设：
$\begin{bmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{bmatrix}$
用PCA方法将上面的二维数据降到一维。
解：因为这个矩阵的每行已经是零均值，这里直接求协方差矩阵：

$C = \frac{1}{5} \begin{bmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{bmatrix} \begin{bmatrix} -1 & -2 \\ -1 & 0 \\ 0 & 0 \\ 2 & 1 \\ 0 & 1 \end{bmatrix} = \begin{bmatrix} \frac{6}{5} & \frac{4}{5} \\ \\ \frac{4}{5} & \frac{6}{5} \end{bmatrix}$
然后求其特征值与特征向量，求解后特征值为：
λ1 = 2, λ2 = 2/5
其对应的特征向量分别为：
$c_1 = \begin{bmatrix} 1 \\1 \end{bmatrix}， c_2 = \begin{bmatrix} -1 \\1 \end{bmatrix}$
其中对应的特征向量分别是一个通解，c₁和c₂可取任意实数，则标准化后的特征向量为：
$\begin{bmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{bmatrix}， \begin{bmatrix} -1/\sqrt{2} \\ 1/\sqrt{2} \end{bmatrix}$
因此矩阵P是：
$P = \begin{bmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{bmatrix}$
可以验证协方差矩阵C的对角化：
$PCP^T = \begin{bmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{bmatrix} \begin{bmatrix} 6/5 & 4/5 \\ 4/5 & 6/5 \end{bmatrix} \begin{bmatrix} 1/\sqrt{2} & -1/\sqrt{2} \\ 1/\sqrt{2} & 1/\sqrt{2} \end{bmatrix} = \begin{bmatrix} 2 & 0 \\ 0 & 2/5 \end{bmatrix}$
最后用P的第一行乘以数据矩阵，得：
$Y = \begin{bmatrix} 1/\sqrt{2} & 1/\sqrt{2} \end{bmatrix} \begin{bmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{bmatrix}= \begin{bmatrix} -3/\sqrt{2} & -1/\sqrt{2} & 0 & 3/\sqrt{2} & -1/\sqrt{2} \end{bmatrix}$
PCA原理代码实现——举例