联合概率：表示两个事件共同发生的概率。A与B的联合概率表示为P(AB) 或者P(A,B),或者P（A∩B）。
条件概率 示例：就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。
信息描述不确定性
1. 自信息量
信息的定义
局限性：必须建立一个概率模型
图一：
联合自信息量：
如图一第三个式子
求解联合自信息量的关键是求解联合概率
条件自信息量：
如图一第二个式子
自信息量的性质：
可加性：
互信息量：
2.信息熵
定义：
熵性质：
1.对称性：
2.
KL散度（相对熵）：
kl散度>=0
kl散度不能看作是不同分布间的距离，因为不对称，书上俩个图之间距离明显不一样
用来衡量近似分布q和真实分布q之间的信息量差距
交叉熵：（主要看链接的交叉熵以及为何以交叉熵做为loss）
链接: link.