协方差矩阵的定义
设一个随机向量为\(\mathbf{x} \in \mathbb{R}^\mathrm{N}\)，其均值为\(\bar{\mathbf{x}}\)，则令\(\mathbf{y} = \mathbf{x} - \bar{\mathbf{x}}\)，则随机向量\(\mathbf{x}\)的协方差定义为：
\[\Sigma_{\mathbf{x}} = \begin{bmatrix}
\sigma(x_1,x_1) & \dotsb & \sigma(x_1,x_N) \\
\vdots & \ddots & \vdots \\
\sigma(x_N,x_1) & \dotsb & \sigma(x_N,x_N)
\end{bmatrix} \in \mathbb{R}^{\mathrm{N} \times \mathrm{N}}
\]
由于\(\sigma(x_i,x_j) = \mathrm{E}((x_i - \bar{x_i})(x_i - \bar{x_i})) = \mathrm{E}(y_i - y_j) = \sigma(y_i,y_j)\)，所以\(\Sigma_{\mathbf{x}} = \Sigma_{\mathbf{y}}\)，即：
\[\Sigma_{\mathbf{y}} = \begin{bmatrix}
\sigma(y_1,y_1) & \dotsb & \sigma(y_1,y_N) \\
\vdots & \ddots & \vdots \\
\sigma(y_N,y_1) & \dotsb & \sigma(y_N,y_N)
\end{bmatrix} \in \mathbb{R}^{\mathrm{N} \times \mathrm{N}}
\]
另外，协方差矩阵还可以写成如下的形式：
\[\Sigma_{\mathbf{x}} = \mathrm{E}((\mathbf{x-\bar{\mathbf{x}}})(\mathbf{x-\bar{\mathbf{x}}})^{\mathrm{T}})
= \mathrm{E}(\mathbf{y}\mathbf{y}^{\mathrm{T}})
\]
此式与上述两式是等价的。各位看官可以自行证明。
协方差矩阵的意义及解释
协方差矩阵的意义及解释可见如下博客，这些博客已经写得非常好了，在此，老夫我就不再重复了。
https://zhuanlan.zhihu.com/p/37609917