高斯混合、多元高斯之间的KL散度

文章目录

• 1. 概率密度函数
• 2. 多元高斯分布和标准正态分布的KL散度
• 3. 两个多元高斯分布之间的KL散度
• 4 .两个高斯混合之间的KL散度
• 5. 高斯混合分布和多元高斯分布之间的KL散度
• 附录

1. 概率密度函数

多变量高斯混合分布的概率密度函数为：

2. 多元高斯分布和标准正态分布的KL散度

3. 两个多元高斯分布之间的KL散度

• 属于2.的一般情况，k是特征的维度
  

4 .两个高斯混合之间的KL散度

5. 高斯混合分布和多元高斯分布之间的KL散度

• 只需要将多元高斯混合分布扩展为高斯混合分布即可，重复该多元高斯分布。特别地，当多元高斯分布为正太分布时：
  
• 其中，M表示component的个数，D表示特征的维数。

附录

• 你可以将u2=0，Σ2=I带入上式，得出多元高斯和正太分布之间得KL散度。