- probabilistic & estimation：常用分布，共轭特性，最大似然估计，最大后验估计，指数族和自然参数
- statistic properties：辅助机器学习算法证明，包括重要的切比雪夫不等式和马尔科夫不等式
2. 统计特性 statistic properties
- 换元后的概率分布函数以及概率密度函数
- 对于向下取整的一些思考
因此，P(Z<z)相对P(Y=floor(x))是独立的，因为P(Z<z)中并不包含x项。
2.1 马尔科夫不等式 Markovs inequality
在概率论中，马尔可夫不等式给出了随机变量的函数大于等于某正数的概率的上界。
markovs 不等式将概率与期望关联在一起，并为随机变量的累计密度分布提供了一个上确界。
2.2 切比雪夫不等式 Chebyshevs inequality
19世纪俄国数学家切比雪夫研究统计规律中，论证并用标准差表达了一个不等式。通俗的意义就是： 任意一个数据集中，位于其平均数m个标准差范围内的比例总是至少为1－1/m^2，其中m为大于1的任意正数。例如：
- m=2 -> 所有数据中，至少有3/4（或75%）的数据位于平均数2个标准差范围内。
- m=3 -> 所有数据中，至少有8/9（或88.9%）的数据位于平均数3个标准差范围内。
- m=5 -> 所有数据中，至少有24/25（或96%)的数据位于平均数5个标准差范围内 。
证明如下：
- 应用案例1：对于任何分布。如果他们的均值和方差已知，chebyshev不等式可以为随机变量的概率分布提供一个:确界。
- 应用案例2：对于随机变量X, Xn是概率收敛的
- 应用案例3：大数定律 law of large number
2.3 柯西—施瓦茨不等式 Cauchy-Schwarz inequality
柯西-施瓦茨不等式是一个在众多背景下都有应用的不等式，例如线性代数，数学分析，概率论，向量代数以及其他许多领域。它被认为是数学中最重要的不等式之一。此不等式最初于1821年被柯西提出，其积分形式在1859被布尼亚克夫斯基提出，而积分形式的现代证明则由施瓦兹于1888年给出。
柯西—施瓦茨不等式的一个重要结果是内积为连续函数。
柯西—施瓦茨不等式有另一形式，可以用范的写法表示：
对欧几里得空间，有
对平方可积的复值函数，有