4. 朴素贝叶斯

简介

贝叶斯法则: P(A|B)∗P(B)=P(B|A)∗P(A)$P(A|B)\ast P(B)=P(B|A)\ast P(A)$

定义
设输入空间X为n维向量的集合, 输出空间为类标记集合Y={c1,c2,...,ck]$c_1,c_2,...,c_k]$, 输入为特征向量x∈X$x\in X$, 输出为类标记y∈Y$y\in Y$, P(X,Y)是X和Y的联合概率分布, 训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$}.
贝叶斯法通过训练数据集学习联合概率分布P(X,Y)
条件独立性假设:

P(X=x|Y=ck)=P(X1=x1,...,Xn=xn|Y=ck)=∏j=1nP(Xj=xj|Y=ck)$$P(X=x|Y=c_k)=P(X^1=x^1,...,X^n=x^n|Y=c_k)={\displaystyle \prod _{j=1}^{n}P(X^j=x^j|Y=c_k)}$$

此处上标表示第j个特征,朴素贝叶斯法的重要前提

基本方法

朴素贝叶斯分类时, 对给定的输入x,通过学习到的模型计算后验概率分布P(Y=ck|X=x)$P(Y=c_k|X=x)$, 将后验概率最大的类作为x的类输出:

P(X=x)=∑kP(X=x∩Y=ck)=∑k(P(X=x|Y=ck)∗P(Y=ck))P(Y=ck|X=x)=P(X=x|Y=ck)∗P(Y=ck)P(X=x)=P(X=x|Y=ck)∗P(Y=ck)∑k(P(X=x|Y=ck)∗P(Y=ck))综合以上公式有: P(Y=ck|X=x)=P(Y=ck)∗∏jP(Xj=xj|Y=ck)∑k(P(Y=ck)∗∏jP(Xj=xj|Y=ck))也可表示为: y=f(x)=argmaxckP(Y=ck)∗∏jP(Xj=xj|Y=ck)∑k(P(Y=ck)∗∏jP(Xj=xj|Y=ck))上式分母对所有的k都相同, 所以有: y=argmaxckP(Y=ck)∗∏jP(Xj=xj|Y=ck)即使[P(X=x|Y=ck)∗P(Y=ck))]由联合分布=条件分布*边缘分布的关系:P(x,y)=P(y|x)∗P(x)=P(x|y)∗P(y)有如下: 1.损失函数的期望(离散): Rexp(f)=E[L(Y,f(X))]=∑x∑yL(y,f(x))∗P(x,y)=∑x∑yL(y,f(x))∗P(y|x)∗P(x)=∑x(∑yL(y,f(x))∗P(y|x))∗P(x)=∑x(∑k=1L(ck,y)∗P(ck|x))∗P(x)=Ex(∑k=1L(ck,y)∗P(ck|x))(E[g(X)]=∑ig(xi)pi)2.损失函数的期望(连续): Rexp(f)=E[L(Y,f(X))]=∫x∫yL(y,f(x))∗P(x,y)dxdy=∫x∫yL(y,f(x))∗P(y|x)∗P(x)∗dxdy=∫x(∫yL(y,f(x))∗P(y|x)dy)P(x)dx=Ex(∫yL(y,f(x))∗P(y|x)dy)(E[g(X)]=∫g(x)f(x)dx)以离散变量为例, 为了使期望最小化, 只需对X=x逐个极小化, 即: f(x)=argminy∑k=1KL(ck,y)∗P(ck|X=x)=argminy∑k=1KP(y≠ck|X=x)次处L为0-1损失函数=argminy(1−P(y=ck|X=x))=argmaxyP(y=ck|X=x)$$\begin{gathered} P(X=x)=\sum _{k}P(X=x\cap Y=c_k)=\sum _k(P(X=x|Y=c_k)\ast P(Y=c_k)) \\ P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)\ast P(Y=c_k)}{P(X=x)}=\frac{P(X=x|Y=c_k)\ast P(Y=c_k)}{{\displaystyle \sum _k(P(X=x|Y=c_k)\ast P(Y=c_k))}} \\ \text{综合以上公式有: }P(Y=c_k|X=x)=\frac{P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k)}{{\displaystyle \sum _k(P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k))}} \\ \text{也可表示为: }y=f(x)=argma{x}_{c_k}\frac{P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k)}{{\displaystyle \sum _k(P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k))}} \\ \text{上式分母对所有的k都相同, 所以有: }y=argma{x}_{c_k}P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k)\text{即使}[P(X=x|Y=c_k)\ast P(Y=c_k))] \\ \text{由联合分布=条件分布*边缘分布的关系:}P(x,y)=P(y|x)\ast P(x)=P(x|y)\ast P(y)\text{有如下: } \\ \begin{array}{rl}\text{1.损失函数的期望(离散): }{R}_{exp}(f)& =E[L(Y,f(X))]=\sum _x\sum _{y}L(y,f(x))\ast P(x,y)\\ & =\sum _x\sum _{y}L(y,f(x))\ast P(y|x)\ast P(x)\\ & =\sum _x(\sum _{y}L(y,f(x))\ast P(y|x))\ast P(x)\\ & =\sum _x(\sum _{k=1}L(c_k,y)\ast P(c_k|x))\ast P(x)\\ & =E_x(\sum _{k=1}L(c_k,y)\ast P(c_k|x))(E[g(X)]=\sum _{i}g(x_i)p_i)\end{array} \\ \begin{array}{rl}\text{2.损失函数的期望(连续): }{R}_{exp}(f)& =E[L(Y,f(X))]={\int }_x{\int }_{y}L(y,f(x))\ast P(x,y)dxdy\\ & ={\int }_x{\int }_{y}L(y,f(x))\ast P(y|x)\ast P(x)\ast dxdy\\ & ={\int }_x({\int }_{y}L(y,f(x))\ast P(y|x)dy)P(x)dx\\ & =E_x({\int }_{y}L(y,f(x))\ast P(y|x)dy)(E[g(X)]=\int g(x)f(x)dx)\end{array} \\ \text{以离散变量为例, 为了使期望最小化, 只需对X=x逐个极小化, 即: } \\ \begin{array}{rl}f(x)& =argmi{n}_y\sum _{k=1}^{K}L(c_k,y)\ast P(c_k|X=x)\\ & =argmi{n}_y\sum _{k=1}^{K}P(y\ne c_k|X=x)\text{次处L为0-1损失函数}\\ & =argmi{n}_y(1-P(y=c_k|X=x))\\ & =argma{x}_{y}P(y=c_k|X=x)\end{array} \end{gathered}$$

根据期望风险最小化就得到了后验概率最大化

参数估计

y=argmaxckP(Y=ck)∗∏jP(Xj=xj|Y=ck)先验概率的极大似然估计: P(Y=ck)=∑i=1nI(yi=ck)n,k=1,2,...,k设第j个特征xj的取值集合为(aj1,aj2,...,ajSj),条件概率的极大似然估计为:P(Xj=ajl|Y=ck)=∑i=1nI(xji=ajl,yi=ck)∑i=1nI(yi=ck),j=1,2,...,n;l=1,2,...,Sj;k=1,2,...,K其中n代表训练数据集的数量, K代表分类数量, xji表示第i个样本的第j个特征, ajl第j个特征可能取的第l个值; P(Xj=ajl|Y=ck)表示在Y=ck条件下, 样本中第j个特征等于ajl的概率$$\begin{gathered} y=argma{x}_{c_k}P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k) \\ \text{先验概率的极大似然估计: }P(Y=c_k)=\frac{{\displaystyle \sum _{i=1}^{n}I(y_i=c_k)}}{n},k=1,2,...,k \\ \text{设第j个特征}{x}^j\text{的取值集合为}(a_{j1},a_{j2},...,a_{jSj}),\text{条件概率的极大似然估计为:} \\ P(X^j=a_{jl}|Y=c_k)=\frac{{\displaystyle \sum _{i=1}^{n}I(x_i^j=a_{jl},y_i=c_k)}}{{\displaystyle \sum _{i=1}^{n}I(y_i=c_k)}},j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K \\ \text{其中n代表训练数据集的数量, K代表分类数量, }{x}_i^j\text{表示第i个样本的第j个特征, }{a}_{jl}\text{第j个特征可能取的第l个值; } \\ P(X^j=a_{jl}|Y=c_k)\text{表示在}Y=c_k\text{条件下, 样本中第j个特征等于}{a}_{jl}\text{的概率} \end{gathered}$$

算法

贝叶斯估计

当使用极大似然估计概率值时, 可能出现0的情况.
这时会影响到后验概率的计算结果, 试分类产生偏差.
解决方法是添加一个正数

P(Xj=ajl|Y=ck)=∑i=1nI(xji=ajl,yi=ck)+λ∑i=1nI(yi=ck)+Sjλ(λ≥0)$$P(X^j=a_{jl}|Y=c_k)=\frac{{\displaystyle \sum _{i=1}^{n}I(x_i^j=a_{jl},y_i=c_k)+\lambda }}{{\displaystyle \sum _{i=1}^{n}I(y_i=c_k)+S_j\lambda }}(\lambda \ge 0)$$

但λ$\lambda$=0时就是极大似然估计; 常取λ$\lambda$=1, 称为拉普拉斯平滑.
显然对于任何l=1,2,...,Sj$l=1,2,...,S_j$(Sj$S_j$表示第j个特征共有Sj$S_j$个可能取值), k=1,2,...,K$k=1,2,...,K$有:

Pλ(Xj=ajl|Y=ck)>0∑l=1SjP(Xj=ajl|Y=ck)=1$$\begin{gathered} P_{\lambda }(X^j=a_{jl}|Y=c_k)>0 \\ \sum _{l=1}^{S_j}P(X^j=a_{jl}|Y=c_k)=1 \end{gathered}$$

先验概率的贝叶斯估计是:

Pλ(Y=ck)=∑i=1nI(yi=ck)+λn+Kλ$$P_{\lambda }(Y=c_k)=\frac{{\displaystyle \sum _{i=1}^{n}I(y_i=c_k)+\lambda }}{n+K\lambda }$$