协方差矩阵是实对称矩阵,也是半正定矩阵。所以协方差矩阵满足实对称矩阵和半正定矩阵的性质。
记 Σ \Sigma Σ为协方差矩阵。
- Σ \Sigma Σ是满秩的,也就是 ∣ Σ ∣ |\Sigma| ∣Σ∣(行列式)不为0。
- Σ \Sigma Σ是半正定的,所以 ∣ Σ ∣ |\Sigma| ∣Σ∣是大于0。
- Σ \Sigma Σ所有的特征值是大于0的。
- Σ \Sigma Σ的逆矩阵存在。
- Σ \Sigma Σ可相似对角化。
- Σ \Sigma Σ主对角线元素均非负,其他位置元素可以有负数。
多维高斯分布的概率密度函数:
f
(
x
)
=
1
(
2
π
)
D
/
2
1
∣
Σ
∣
1
/
2
e
−
1
2
(
x
−
μ
)
T
Σ
−
1
(
x
−
μ
)
f(x) = {1 \over (2\pi)^{D/2}} {1 \over |\Sigma|^{1/2}} e^{-{1\over 2}(x-\mu)^{T} \Sigma^{-1}(x-\mu)}
f(x)=(2π)D/21∣Σ∣1/21e−21(x−μ)TΣ−1(x−μ)
上式中,
x
x
x是一个
D
D
D维的向量,
μ
\mu
μ是一个
D
D
D维的向量,
Σ
\Sigma
Σ是一个
D
∗
D
D*D
D∗D的矩阵。
上式算出来的值是一个实数而不是向量,但是这个实数并不是概率,而是表示随机变量
X
X
X取值为
x
x
x的可能性,这里的可能性并不是用概率来衡量。
f
(
x
)
f(x)
f(x)越大,说明
x
x
x和均值离的近。
更要注意的是,上式的值域是 ( 0 , + ⋈ ) (0, +\bowtie) (0,+⋈),我们一般都用最大似然估计模型参数,当你的似然函数中出现了高斯的概率密度的时候,并且取了负对数似然,这时负对数似然算出来的值不一定是大于0的,也就是对数似然不一定是小于0的。
在算法中用到多为高斯分布,要注意算出来的协方差阵是否满足上面的条件,如果不满足,则会出现问题。
当协方差阵是对角阵时,多维高斯分布的概率密度等于每一维对应的单变量高斯分布的乘积。