概率论
- 古典概率 or 统计定义：频率
- 现代概率 or 公理化定义：测度论（科尔莫戈罗夫）
概率空间(Ω，φ，P)：
Ω 样本空间（最小不可分的独立互斥事件集合）；
φ事件（Ω的子集）；
P测度（事件的概率）；
随机变量：随机试验各种结果的实值单值函数
贝叶斯公式：
其中P(A|B)是在B发生的情况下A发生的可能性。 
为完备事件组，即 
在贝叶斯法则中，每个名词都有约定俗成的名称：
Pr(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。
按这些术语，Bayes法则可表述为：
后验概率 = (似然度 * 先验概率)/标准化常量 也就是说，后验概率与先验概率和似然度的乘积成正比。
另外，比例Pr(B|A)/Pr(B)也有时被称作标准似然度（standardised likelihood），Bayes法则可表述为：
后验概率 = 标准似然度 * 先验概率
特征函数：
大数定理：
中心极限定理：
实际应用：
点估计：
点估计的评判：相合性、无偏性、有效性、渐进正态性
极大似然估计：
凸优化
凸集与凸函数、常见凸函数：
Hessian矩阵半正定！
上镜图：函数图像上方的区域；
凸集合的保凸运算：
任意多个凸集合的交集仍然是凸集合；
凸集合的线性映射仍然是凸集合；
凸函数的保凸运算：