如何理解协方差和协方差矩阵

协方差

• 两个一维随机变量$X,Y$X,Y之间的协方差：
  $cov(X,Y)=\frac{\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1}$cov(X,Y)=n−1∑i=1n​(Xi​−Xˉ)(Yi​−Yˉ)​

• 协方差的意义：

  • 协方差为正，说明两个随机变量呈正相关；
  • 协方差为负，说明两个随机变量呈负相关；
  • 协方差为0，说明两个随机变量没有关系；

协方差矩阵

• 对于一个二维随机变量$X=(X_1,X_2)^T$X=(X1​,X2​)T，含有两个一维随机变量，因此我们不仅要研究这两个一维随机变量自己的方差，还要研究两个一维随机变量之间的关系，因此引入协方差矩阵：
  $\Sigma= \left( \begin{matrix} cov(X_1,X_1) & cov(X_1,X_2)\\ \\ cov(X_2,X_1) & cov(X_2,X_2) \end{matrix} \right)_{m\times n}$Σ=⎝⎛​cov(X1​,X1​)cov(X2​,X1​)​cov(X1​,X2​)cov(X2​,X2​)​⎠⎞​m×n​
• 矩阵中里的元素表示随机变量中各个维度变量之间的协方差，同维度变量之间的协方差就是该变量的方差；
• 二维高斯分布示例：
  
• 协方差矩阵中的元素值小于零，则对应的两个变量呈负相关；元素值大于零，则对应的两个元素正相关；元素值的绝对值越大，相关性越强，分布越细长；