KL距离/相对熵
P和q不满足对称性,所以不是真正的“距离”
(数学中的距离必须满足非负性、对称性、三角不等式)

当两个概率分布完全相同时,相对熵为0

KL距离/相对熵

KL距离/相对熵
【证明:
(1) 若存在x使得q(x)=0,则D(q||p)=∞
(2) 若q(x)> 0,

D(q||p)
KL距离/相对熵

相关文章: