机器学习（七）~朴素贝叶斯

机器学习（七）~朴素贝叶斯

• 1. 朴素贝叶斯模型
• 2. 朴素贝叶斯法的参数估计
• 2.1 极大似然估计
• 2.2 朴素贝叶斯算法
• 2.3 贝叶斯估计

1. 朴素贝叶斯模型

朴素贝叶斯是通过先验概率分布与条件概率分布学习到联合概率分布，从而计算后验概率分布，将后验概率最大的类作为类输出

朴素贝叶斯法基本假设：条件独立性

根据贝叶斯定理计算后验概率

根据期望风险最小化准则得到后验概率最大化：

优点： 高效，易于实现
缺点： 条件独立性假设使算法简化，但分类性能不一定很高

2. 朴素贝叶斯法的参数估计

2.1 极大似然估计

先验概率P(Y=c_k)的极大似然估计是

条件概率P(X^(j)=x^(j)|Y=c_k)的极大似然估计是(设第j个特征x^(j)可能取值的集合为{a_j1,a_j2,…,a_jSj})

X_i^(j)是第i个样本第j个特征；a_jl是指第j个特征可能取的第l个值；I为指示函数

2.2 朴素贝叶斯算法

2.3 贝叶斯估计

用极大似然估计会遇到概率值为0的情况影响结果，加入λ>=0,当λ=0为极大似然估计；当λ=1，为拉普拉斯平滑

先验概率

条件概率