机器学习与数学基础2

2.统计学与概率论基础

（1）基本概念

• 概率：对随机事件不确定性的度量。
• 概率与频率
• 古典概率与条件概率
  条件概率：
  
• 全概率公式与贝叶斯公式

• 随机变量：并不是变量，它们是将（样本空间中的）结果映射为真值的函数。

• 联合分布与边缘分布
  联合分布：
  条件分布：
  

• 随机变量独立性
  

• 期望与方差
  
  
  

3.优化方法基础

（1）基本概念

• 向量：一个n维向量是由n个实数组成的数组。
  

• 向量空间：所有的向量构成的集合称为n维向量空间。

• 多元函数：以n维向量为自变量的函数称为n元函数。

• 极值
  

• 矩阵及其正定性
  
  

• 梯度与黑塞矩阵
  
  

（2）函数的凹凸性


（3）梯度下降法



（4）牛顿法