深度学习和计算机视觉中的基础数学知识（二）

2.2 概率论及相关基础知识

2.2.1 条件概率和独立

2.2.2 期望值、方差和协方差

• 期望值
  变量值与对应概率求和得到期望值。

• 方差（结果的离散程度）
  
  展开形式
  

• 协方差（多维变量的离散程度和相关系数）
  

• 协方差矩阵
  

• 相关系数矩阵
  

2.2.3 熵

2.2.4 最大似然估计

• 似然函数
  
  对数似然函数（实际中常用）
  

2.2.5 KL散度

• 相对熵
• 
• $H(P,Q)$H(P,Q) 交叉熵

2.2.6 KL和MEL的联系