一、交叉熵

(1):离散表示:通俗的解释交叉熵与相对熵

(2):连续表示:通俗的解释交叉熵与相对熵

两项中 H(p)是 p的信息熵,后者是p和q的相对熵;

二、相对熵

(1):离散表示:通俗的解释交叉熵与相对熵

(2):连续表示:通俗的解释交叉熵与相对熵

 

 三、二者关系

通俗的解释交叉熵与相对熵

 

相关文章: