深度学习中的概率知识详解

1. 基础概念

随机变量(连续,离散): 对可能状态的描述, 在机器学习算法中，每个样本的特征取值，标签值都可以看作是一个随机变量，包括离散型随机变量和连续型随机变量
概率分布: 用来指定每个状态的可能性, 对于离散型的概率分布，称为概率质量函数(Probability Mass Function, PMF)，对于连续性的变量，其概率分布叫做概率密度函数(Probability Density Function, PDF).
边缘概率分布:如果我们知道了一组变量的联合概率分布,但想要了解其中一个子集的概率分布,这个子集的概率分布称为边缘概率分布
联合概率分布:两个或两个以上随机随机变量联合地概率分布情况。
相互独立: 如果∀x∈X,y∈Y,P(X=x,Y=y)=P(X=x)P(Y=y)$\mathrm{\forall }x\in X,y\in Y,P(X=x,Y=y)=P(X=x)P(Y=y)$，那么就称随机变量Ｘ和Ｙ是相互独立的。
条件独立: 如果∀x∈X,y∈Y,z∈Z,P(X=x,Y=y‖Z=z)=P(X=x‖Z=z)P(Y=y‖Z=z)$\mathrm{\forall }x\in X,y\in Y,z\in Z,P(X=x,Y=y\Vert Z=z)=P(X=x\Vert Z=z)P(Y=y\Vert Z=z)$，那么就称随机变量Ｘ和Ｙ是关于Ｚ相互独立的。
贝叶斯准则: 在已知P(y‖x)$P(y\Vert x)$和P(x)$P(x)$的情况下，P(x‖y)＝P(x)P(y‖x)P(y)$P(x\Vert y)＝\frac{P(x)P(y\Vert x)}{P(y)}$，贝叶斯准则经常被用在已知参数的先验分布情况下求后验分布。
期望: 函数f(x)$f(x)$在某个分布P(x)$P(x)$下的平均表现情况，记为Ex∼P[f(x)]=∫p(x)f(x)dx$E_{x\sim P}[f(x)]=\int p(x)f(x)dx$。
方差: 函数f(x)$f(x)$在某个分不下表现的差异性，记为Var(f(x)=E[(f(x)−E[f(x)])2]$Var(f(x)=E[(f(x)-E[f(x)]{)}^2]$。
协方差: 两个变量之间线性相关的强度，记为Cov(f(x),g(x))=E[(f(x)−E[f(x)])(g(x)−E(g(x)))]$Cov(f(x),g(x))=E[(f(x)-E[f(x)])(g(x)-E(g(x)))]$。
条件概率: 求B条件下, A发生的概率:

P(A|B)=P(AB)P(B)$$P(A|B)=\frac{P(AB)}{P(B)}$$

条件概率的链式法则:

P(a,b,c)P(b,c)P(a,b,c)=P(a|b|c)P(b,c)=P(b|c)P(c)=P(a|b,c)P(b|c)P(c)$$\begin{array}{rl}P(a,b,c)& =P(a|b|c)P(b,c)\\ P(b,c)& =P(b|c)P(c)\\ P(a,b,c)& =P(a|b,c)P(b|c)P(c)\end{array}$$

信息熵: 描述某个概率分布中不确定性的度量，记为H(x)=−Ex∼P[logP(x)]$H(x)=-E_{x\sim P}[\log P(x)]$。
交叉熵: 描述两个概率分布之间相似度的一个指标，在机器学习中经常使用交叉熵作为分类任务的损失函数，记为H(P,Q)=−Ex∼P[logQ(x)]$H(P,Q)=-E_{x\sim P}[\log Q(x)]$。

2. 期望,方差,协方差

期望反应函数f(x)$f(x)$的平均值. 设Ex p[f(x)]$E_{x}p[f(x)]$是函数f(x)$f(x)$关于某分布P(x)$P(x)$的期望:

• 对于离散型随机变量:

  Ex p[f(x)]=∑xP(x)f(x)$$E_{x}p[f(x)]=\sum _{x}P(x)f(x)$$

• 对于连续性随机变量:
  

  Ex p[f(x)]=∫p(x)f(x)dx$$E_{x}p[f(x)]=\int p(x)f(x)dx$$

通常在概率上下文中可以不写脚标: E[f(x)]$E[f(x)]$, 更一般地, 当没有歧义时可以省略方括号, 将期望简写为E$E$.

期望是线性的:

Ex[αf(x)+βg(x)]=αEx[f(x)]+βEx[g(x)]$$E_x[\alpha f(x)+\beta g(x)]=\alpha E_x[f(x)]+\beta E_x[g(x)]$$

方差衡量x依它的概率分布采样时, 随机变量x的函数f(x)$f(x)$差异程度. 方差的定义:

Var(f(x))=E[|f(x)−E[f(x)]|2]$$Var(f(x))=E[|f(x)-E[f(x)]{|}^2]$$

协方差给出两个变量的线性相关度及这些变量的尺度. 协方差定义:

Cov(f(x),g(y))=E[(f(x)−E[f(x)])(g(y)−E(g(y)])]$$Cov(f(x),g(y))=E[(f(x)-E[f(x)])(g(y)-E(g(y)])]$$

相关系数ρxy${\rho }_{xy}$

ρxy=Cov(X,Y)D(X)‾‾‾‾‾√D(Y)‾‾‾‾‾√$${\rho }_{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

关于协方差的特性:
- 若协方差绝对值很大, 则变量值得变化很大, 且相距各自均值很远
- 若协方差为正, 则两变量x,y都倾向于取较大值, 若协方差为负, 则一个倾向于取较大值,另一个倾向取较小值

相关系数: 将每个变量归一化, 之衡量变量间的相关性, 不关注变量尺度大小.

3. 常用的概率分布模型

Bernoulli分布和Multinoulli分布

Bernoulli分布是单个二值随机变量分布, 单参数ϕ∈[0,1]$\varphi \in [0,1]$控制,ϕ$\varphi$给出随机变量等于1的概率. 一些性质:
概率:

P(x=1)P(x=0)P(x=x)=ϕ=1−ϕ=ϕx(1−ϕ)1−x$$\begin{array}{rl}P(x=1)& =\varphi \\ P(x=0)& =1-\varphi \\ P(x=x)& ={\varphi }^x(1-\varphi {)}^{1-x}\end{array}$$

方差,期望:

Ex[x]Varx(x)=ϕ=ϕ(1−ϕ)$$\begin{array}{rl}{E}_x[x]& =\varphi \\ Va{r}_x(x)& =\varphi (1-\varphi )\end{array}$$

Multinoulli分布也叫范畴分布, 是单个k$k$值随机分布,经常用来表示对象分类的分布.
, 其中k$k$是有限值.Multinoulli分布由向量p⃗ ∈[0,1]k−1$\overrightarrow{p}\in [0,1{]}^{k-1}$参数化,每个分量pi$p_i$表示第i个状态的概率, 且pk=1−1Tp$p_k=1-1^{T}p$.

适用范围: 伯努利分布适合对离散型随机变量建模, 注意下述狄拉克δ$\delta$函数适用对连续性随机变量的经验分布建模.

高斯分布

高斯也叫正态分布(Normal Distribution), 概率度函数如下:

N(x;μ,σ2)=12πσ2‾‾‾‾‾‾√exp(−12σ2(x−μ)2)$$N(x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi {\sigma }^2}}exp\left(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right)$$

其中, μ$\mu$和σ$\sigma$分别是均值和方差, 中心峰值x坐标由μ$\mu$给出, 峰的宽度受σ$\sigma$控制, 最大点在x=μ$x=\mu$处取得, 拐点为x=μ±σ$x=\mu \pm \sigma$.

正态分布中，±1σ、±2σ、±3σ下的概率分别是68.3%、95.5%、99.73%，这3个数最好记住。
此外, 令μ=0,σ=1$\mu =0,\sigma =1$高斯分布即简化为标准正态分布:

N(x;μ,σ2)=12π‾‾‾√exp(−12x2)$$N(x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi }}exp\left(-\frac{1}{2}{x}^2\right)$$

对概率密度函数高效求值:

N(x;μ,β−1)=β2π‾‾‾√exp(−12β(x−μ)2)$$N(x;\mu ,{\beta }^{-1})=\sqrt{\frac{\beta }{2\pi }}exp\left(-\frac{1}{2}\beta (x-\mu {)}^2\right)$$

其中, β=1σ2$\beta =\frac{1}{{\sigma }^2}$, 通过参数β∈(0,∞)$\beta \in (0,\mathrm{\infty })$来控制分布的精度.

问: 何时采用正态分布?
答: 缺乏实数上分布的先验知识, 不知选择何种形式时, 默认选择正态分布总是不会错的, 理由如下:
1. 中心极限定理告诉我们, 很多独立随机变量均近似服从正态分布, 现实中很多复杂系统都可以被建模成正态分布的噪声, 即使该系统可以被结构化分解.
2. 正态分布是具有相同方差的所有概率分布中, 不确定性最大的分布, 换句话说, 正态分布是对模型加入先验知识最少的分布.

正态分布的推广:
正态分布可以推广到Rn$R^n$空间, 此时称为多位正态分布, 其参数是一个正定对称矩阵∑$\sum$:

N(x;μ⃗ ,∑)=12πndet(∑)‾‾‾‾‾‾‾‾‾‾‾√exp(−12(x⃗ −μ⃗ )T∑−1(x⃗ −μ⃗ ))$$N(x;\overrightarrow{\mu },\sum )=\sqrt{\frac{1}{2{\pi }^{n}det(\sum )}}exp\left(-\frac{1}{2}(\overrightarrow{x}-\overrightarrow{\mu }{)}^T\sum ^{-}1(\overrightarrow{x}-\overrightarrow{\mu })\right)$$

对多为正态分布概率密度高效求值:

N(x;μ⃗ ,β⃗ −1)=det(β⃗ )‾‾‾‾‾‾√(2π)nexp(−12(x⃗ −μ⃗ )Tβ(x⃗ −μ⃗ ))$$N(x;\overrightarrow{\mu },{\overrightarrow{\beta }}^{-1})=\sqrt{det(\overrightarrow{\beta })}(2\pi {)}^{n}exp\left(-\frac{1}{2}(\overrightarrow{x}-\overrightarrow{\mu }{)}^T\beta (\overrightarrow{x}-\overrightarrow{\mu })\right)$$

, 此处, β⃗ $\overrightarrow{\beta }$是一个精度矩阵.

指数分布和Laplace分布

指数分布

深度学习中, 指数分布用来描述在x=0$x=0$点出取得边界点的分布, 指数分布定义如下:

p(x;λ)=λ1x≥0exp(−λx)$$p(x;\lambda )=\lambda 1_{x\ge 0}exp(-\lambda x)$$

, 指数分布用指示函数Ix>=0$I_{x>=0}$来使x取负值时的概率为零.

* Laplace分布*
Laplace分布允许我们在任意一点μ$\mu$处设置概率质量的峰值:

Laplace(x;μ;γ)=12γexp(−|x−μ|γ)$$Laplace(x;\mu ;\gamma )=\frac{1}{2\gamma }exp\left(-\frac{|x-\mu |}{\gamma }\right)$$

Dirac分布和经验分布

Dirac分布
Dirac分布可保证概率分布中所有质量都集中在一个点上. Diract分布的狄拉克δ函数(也称为单位脉冲函数)定义如下:

p(x)=δ(x−μ),x≠μ$$p(x)=\delta (x-\mu ),x\ne \mu$$

∫baδ(x−μ)dx=1,a<μ<b$${\int }_a^b\delta (x-\mu )dx=1,a<\mu <b$$

狄拉克δ函数图像:

说明:
- 严格来说狄拉克δ函数不能算是一个函数，而是一种数学对象, 因为满足以上条件的函数是不存在的, 但是我们可以用分布的概念来解释, 因此称为狄拉克分布或者δ$\delta$分布
- 它是一种极简单的广义函数. 广义函数是一种数学对象, 依据积分性质而定义. 我们可以把狄拉克δ$\delta$函数想成一系列函数的极限点, 这一系列函数把除0以外的所有点的概率密度越变越小.

经验分布
狄拉克分布常作为经验分布的一个组成部分:

p̂ (x⃗ )=1m∑i=1mδ(x⃗ −x⃗ (i))$$\hat{p}(\overrightarrow{x})=\frac{1}{m}\sum _{i=1}^m\delta (\overrightarrow{x}-{\overrightarrow{x}}^{(i)})$$

, 其中, m个点x(1)$x^{(1)}$, …, x(m)$x^{(m)}$是给定的数据集, 经验分布将概率密度1m$\frac{1}{m}$赋给了这些点.

当我们在训练集上训练模型时, 可以认为从这个训练集上得到的经验分布指明了采样来源.

适用范围: 狄拉克δ函数适合对连续型随机变量的经验分布

拉普拉斯分布(Laplace distribution)

有着与高斯分布很相近的形式，概率密度函数为Laplace(x;μ,γ)=12γexp(−|x−μ|γ)$，形状如下图：

高斯分布

拉普拉斯分布

4. 深度学习常用**函数

• Logistic sigmoid函数

  • σ(x)=11+exp(−x)$\sigma (x)=\frac{1}{1+\exp (-x)}$

  • 函数图像
    

  • logistic函数有许多重要的性质，通常被用来对数值进行平滑，下面是它的部分性质
    

    σ(x)ddxσ(x)1−σ(x)logσ(x)=exex+e0=σ(x)(1−σ(x))=σ(−x)=−ζ(−x)$$\begin{array}{r}\\ \sigma (x)& =\frac{e^x}{e^x+e^0}\\ \frac{d}{dx}\sigma (x)& =\sigma (x)(1-\sigma (x))\\ 1-\sigma (x)& =\sigma (-x)\\ log\sigma (x)& =-\zeta (-x)\end{array}$$

• 线性整流函数(Rectified Linear Unit, ReLU)

  • ReLU(x)=max(0,x)$ReLU(x)=max(0,x)$
  • 目前神经网络中最常用的一种非线性**函数

• Softplus函数

  • ζ(x)=log(1+exp(x))$\zeta (x)=\log (1+\exp (x))$

  • softplus函数可以看作是max(0,x)$max(0,x)$的一个平滑，他与ReLU的函数图像如下
    

  • 它有如下性质
    

    ddxξ(x)∀x∈(0,1),σ−1(x)∀x>0,ζ−1(x)ζ(x)ζ(x)−ζ(−x)=σ(x)=log(x1−x)=log(ex−1)=∫x−∞σ(y)dy=x$$\begin{array}{r}\\ \frac{d}{dx}\xi (x)& =\sigma (x)\\ \mathrm{\forall }x\in (0,1),{\sigma }^{-1}(x)& =log(\frac{x}{1-x})\\ \mathrm{\forall }x>0,{\zeta }^{-1}(x)& =log(e^x-1)\\ \zeta (x)& ={\int }_{-\mathrm{\infty }}^x\sigma (y)dy\\ \zeta (x)-\zeta (-x)& =x\end{array}$$

5．结构化概率模型

概率图模型: 通过图的概念来表示随机变量之间的概率依赖关系
有向图表示的概率模型：

下图即为一个关于变量a,b,c,d,e$a,b,c,d,e$之间的有向图模型，通过该图可以计算

p(a,b,c,d,e)=p(a)p(b‖a)p(c‖a,b)p(d‖b)p(e‖c)$$p(a,b,c,d,e)=p(a)p(b\Vert a)p(c\Vert a,b)p(d\Vert b)p(e\Vert c)$$

无向图表示的概率模型：
公式:

图:

似然函数

在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数可以理解为条件概率的逆反。

在已知某个参数α$\alpha$时，事件A会发生的条件概率可以写作P(A;α)$P(A;\alpha )$，也就是P(A|α)$P(A|\alpha )$。我们也可以构造似然性的方法来表示事件A发生后估计参数α$\alpha$的可能性，也就表示为L(α|A)$L(\alpha |A)$，其中L(α|A)=P(A|α)$L(\alpha |A)=P(A|\alpha )$。

最大似然估计（MLE）与最大后验概率（MAP）

最大似然估计是似然函数最初的应用。似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值和直接求最大值得到的结果是相同的。似然函数的最大值不一定唯一，也不一定存在。

这里简单的说一下最大后验概率（MAP），如下面的公式

P(α|X)=P(X|α)P(α)P(X)$$P(\alpha |X)=\frac{P(X|\alpha )P(\alpha )}{P(X)}$$

其中等式左边P(α|X)$P(\alpha |X)$表示的就是后验概率，优化目标即为argmaxαP(α|X)$argma{x}_{\alpha }P(\alpha |X)$，即给定了观测值X以后使模型参数α$\alpha$出现的概率最大。等式右边的分子式P(X|α)$P(X|\alpha )$即为似然函数L(α|X)$L(\alpha |X)$，MAP考虑了模型参数α$\alpha$出现的先验概率P(α)$P(\alpha )$。即就算似然概率P(X|α)$P(X|\alpha )$很大，但是α$\alpha$出现的可能性很小，也更倾向于不考虑模型参数为α$\alpha$。

生成式模型与判别式模型

判别式模型学习的目标是条件概率P(Y|X)$P(Y|X)$或者是决策函数Y=f(X)$Y=f(X)$，其实这两者本质上是相同的。例如KNN，决策树，SVM，CRF等模型都是判别式模型。

生成模型学习的是联合概率分布P(X,Y)$P(X,Y)$，从而求得条件概率分布P(Y|X)$P(Y|X)$。例如NB，HMM等模型都是生成式模型。