4.信息论基础
(1)基本概念
信息熵
信息论是应用数学的一个分支，主要研究的是对一个信号能够提供信息的多少进行量化。最初用于研究在一个含有噪音的信道上用离散的信道来发送信息，指导信息的优化编码等。
- 一个基本idea：导致那些“异常”事件发生的背后拥有我们更想知道的东西。
- 信息熵的意义:
联合熵
条件熵
三者关系
相对熵
也称为KL散度，信息增量，信息增益
互信息:
相互关系:Ending…
相关文章：
猜你喜欢
相关资源
相似解决方案
热门标签