朴素贝叶斯法
（naive Bayes）
基于贝叶斯定理和特征条件独立假设的分类方法。
对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
朴素贝叶斯法的学习和分类
基本方法
朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。具体地，学习以下先验概率分布及条件概率分布。
朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯法也由此得名。
朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。
朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验分布P(Y=c_k|X=x)，将后验概率最大的类作为x的类输出。
后验概率最大化的含义
朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。
朴素贝叶斯法所采用的原理：后验概率最大化==>期望风险最小化
朴素贝叶斯法的参数估计
极大似然估计
学习与分类算法
贝叶斯估计
首先，为什么要有贝叶斯估计：用极大似然估计可能会出现所要估计的概率值为0的情况。这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。
小结
- 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)，然后求得后验概率分布P(Y|X)。具体来说，利用训练数据学习P(X|Y)和P(Y)的估计，得到联合概率分布P(X,Y)。P(X,Y) = P(Y)P(X|Y)。
概率估计方法可以使极大似然估计或贝叶斯估计。 - 朴素贝叶斯法的基本假设是条件独立性。
这是一个较强的假设。由于这个假设，模型包含的条件概率数量大为减少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效易于实现。缺点是分类的性能不一定很高。 - 朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。
将输入x分到后验概率最大的类。
后验概率最大等价于0-1损失函数时的期望风险最小化。
《统计学习方法》 李航