熵是什么？信息熵是什么

熵是物理学中的概念，是指系统混沌状态的一种量化指标。熵的大小与系统混沌程度正相关，也就是系统越混沌，熵值越大，反之，亦然。 ## 信息熵 表征信息不确性的指标。与信息的不确定性相关，信息熵越大，信息的不确定性越大。 ## 信息熵是怎么计算的？ 涉及到信息论的内容，也就是信息编码问题。信息要全部表示完，共需多少个编码？或者说需要个二进制位数。 香农给出了理论也就是： $$L(x)=log_2(1/p(x))$$ L表示所需要的二进制位，p(x)表示发生的概率。 通过此公式，可以计算出某种概率的结果所需要的二进制位。 知道了二进制位数，那么信息的平均编码长度是多少呢 $$H(x) = \sum_{x}(p(x)*L(x))$$ 也就是最优的编码长度。 ## 参考文献 1. [信息论入门教程](http://www.ruanyifeng.com/blog/2019/08/information-theory.html) 2. [markdown公式表示](https://www.jianshu.com/p/e74eb43960a1)