谈多维高斯公式

协方差矩阵的定义及其计算公式

 (2014-03-20 18:36:56)

转载▼

分类： matlab

协方差矩阵在机器学习中经常用到，查看wiki：http://zh.wikipedia.org/wiki/协方差矩阵 可知协方差矩阵的具体计算公式如下：

在统计学与概率论中，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。这是从标量随机变量到高维度随机向量的自然推广。

假设是以个标量随机变量组成的列向量，

并且是其第i个元素的期望值，即, 。协方差矩阵被定义的第i，j项是如下：

即：

矩阵中的第个元素是与的协方差。这个概念是对于标量随机变量方差的一般化推广。

 

二、理解的关键

　　1、理解的关键是两个随机变量x₁,x₂的协方差如何计算，有cov(x1,x2) = E{[(x₁-E(x₁)][x₂-E(x₂)]}，对于离散的随机变量x₁,x₂,协方差矩阵描述的x₁,x₂相互联系的偏差，所以两个随机变量是一一对应的，即假设有m个样本值，则分别为(x₁₁,x₂₁),(x₁₂,x₂₂),(x₁₃,x₂₃),...(x_1m,x_2m)，这便可以写成一个2*m的矩阵的形式。则x₁,x₂协方差表示的是两个随机变量对应的样本值分别都减去各自均值后的乘积的均值（因为无偏性估计的缘故，除以的不是m而是m-1)；

　　2、所以对于一个n*m的样本矩阵，得出的协方差矩阵C是n*n的矩阵，协方差矩阵每个元素C_ij表示的随机变量x_i,x_j的协方差。所以协方差矩阵是一个对称矩阵，且对角线上元素为每个随机变量的方差（如果是信号的话可以看成是能量）；如果各个变量相关性很小的话，互相的协方差接近0，即协方差矩阵基本上为对角阵；

　　3、可以证明，协方差矩阵是非负定矩阵，这可以有非负定矩阵的定义得到；

　　4、同样地，为了表示各个随机变量相关性到底有多大，可以引入相关性矩阵。