协方差矩阵是实对称矩阵,也是半正定矩阵。所以协方差矩阵满足实对称矩阵和半正定矩阵的性质。

Σ \Sigma Σ为协方差矩阵。

  1. Σ \Sigma Σ是满秩的,也就是 ∣ Σ ∣ |\Sigma| Σ(行列式)不为0。
  2. Σ \Sigma Σ是半正定的,所以 ∣ Σ ∣ |\Sigma| Σ是大于0。
  3. Σ \Sigma Σ所有的特征值是大于0的。
  4. Σ \Sigma Σ的逆矩阵存在。
  5. Σ \Sigma Σ可相似对角化。
  6. Σ \Sigma Σ主对角线元素均非负,其他位置元素可以有负数。

多维高斯分布的概率密度函数:
f ( x ) = 1 ( 2 π ) D / 2 1 ∣ Σ ∣ 1 / 2 e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) f(x) = {1 \over (2\pi)^{D/2}} {1 \over |\Sigma|^{1/2}} e^{-{1\over 2}(x-\mu)^{T} \Sigma^{-1}(x-\mu)} f(x)=(2π)D/21Σ1/21e21(xμ)TΣ1(xμ)
上式中, x x x是一个 D D D维的向量, μ \mu μ是一个 D D D维的向量, Σ \Sigma Σ是一个 D ∗ D D*D DD的矩阵。
上式算出来的值是一个实数而不是向量,但是这个实数并不是概率,而是表示随机变量 X X X取值为 x x x的可能性,这里的可能性并不是用概率来衡量。 f ( x ) f(x) f(x)越大,说明 x x x和均值离的近。

更要注意的是,上式的值域是 ( 0 , + ⋈ ) (0, +\bowtie) (0,+),我们一般都用最大似然估计模型参数,当你的似然函数中出现了高斯的概率密度的时候,并且取了负对数似然,这时负对数似然算出来的值不一定是大于0的,也就是对数似然不一定是小于0的。

在算法中用到多为高斯分布,要注意算出来的协方差阵是否满足上面的条件,如果不满足,则会出现问题。

当协方差阵是对角阵时,多维高斯分布的概率密度等于每一维对应的单变量高斯分布的乘积。
多维高斯分布的协方差矩阵的矩阵性质

相关文章: