本文是《统计学习方法》李航著学习笔记。贝叶斯推断的有关论述参考《贝叶斯方法 概率编程与贝叶斯推断》[加]Cameron Davidson-Pilon著。
朴素贝叶斯法是一种基于“贝叶斯定理”“条件独立性假设”的分类方法。
朴素贝叶斯法是一种生成模型，首先，生成训练数据的联合概率分布P(X,Y)；其次，对于给定的新预测点x，求出使条件概率P(Y|X=x)最大的Y所在分类。
先给定一些基本的统计学概念定义的理解：
(下面简要叙述极大似然估计，想了解更多信息请参看陈希孺的相关统计著作)
朴素贝叶斯法的学习过程:
以下分别选用“极大似然估计”和“贝叶斯估计”两种方法计算先验概率和条件概率！
对于极大似然估计：
对于贝叶斯估计：
在随机变量各取值的"频率"上加一个整数，从而避免了极大似然估计中出现0概率值影响后验概率计算的情况。
朴素贝叶斯法的预测分类过程:
后验概率最大化<=>期望风险最小化：