朴素贝叶斯分类器

朴素贝叶斯分类器（Naive Bayes Classifier）

基本概念

贝叶斯分类器是一族分类算法的总称，该族算法均以贝叶斯定理为基础，统称为贝叶斯分类器。贝叶斯分类器的分类原理是通过先验概率利用贝叶斯公式计算出其后验概率，选择具有最大后验概率的类作为该对象所属的类别。
设 $S$ 为实验 $E$ 的样本空间， $B_{1}, B_{2}, \dots, B_{n}$ 为 $E$ 的一组事件，若：
1. $B_{i} \cap B_{j} = \emptyset, i \neq j, i, j = 1, 2, \dots, n$
2. $B_{1} \cup B_{2} \cup \dots \cup B_{n} = S$

则称 $B_{1}, B_{2}, \dots, B_{n}$ 为样本空间 $S$ 的一个划分。对于每次试验，事件 $B_{1}, B_{2}, \dots, B_{n}$ 中有且仅有一个事件发生。
设 $A$ 为实验 $E$ 的事件，且 $P (A) > 0, P (B_{i}) \geq 0$ ，则：

全概率公式：
$\begin{matrix} (1) & \begin{aligned} P (A) & = P (A / B_{1}) * P (B_{1}) + P (A / B_{2}) * P (B_{2}) + \dots + P (A / B_{n}) * P (B_{n}) \\ = \sum_{i = 1}^{n} P (A / B_{i}) P (B_{i}) \end{aligned} \end{matrix}$
贝叶斯定理：
$\begin{matrix} (2) & P (B_{j} / A) = \frac{P (A / B_{j}) P (B_{j})}{\sum_{i = 1}^{n} P (A / B_{i}) P (B_{i})} \end{matrix}$

假设有训练集 $D$ ，样本 $\vec{x} = (x_{1}, x_{2}, \dots, x_{n})$ ，类别标签 $y = c_{1}, c_{2}, \dots, c_{k}$ 。对于某一样本 $x_{i}$ ，假设其类别标签为 $c$ ，则朴素贝叶斯分类器的训练过程就是基于 $D$ 来估计类别先验概率 $P (c)$ ，并为每个属性估计条件概率 $P (x_{i} | c)$ 。
朴素贝叶斯分类器（naive Bayes classifier）采用了“属性条件独立性假设”：对已知类别，假设所有的属性相互独立，也就是说，假设每个属性独立地对分类结果产生影响。

举例说明

下面以图1的示例来说明朴素贝叶斯分类器的决策过程：

图1

已知训练数据如图1所示，那么给定一样本 ${C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h}$ ，它的类别标签 $y$ 应该是多少呢？
对于该问题用朴素贝叶斯进行分类，我们只需要计算 $P (y = s a f e | C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h)$ 和 $P (y = r i s k y | C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h)$ 并计算它们的大小即可，如果前者大则该样本的类别标签为 $s a f e$ ，如果后者大则该样本的类别标签为 $r i s k y$ 。
由图1我们可得到一些先验概率：

{\begin{cases} P (y = s a f e) = \frac{5}{9} \\ P (y = r i s k y) = \frac{4}{9} \\ P (C r e d i t = e x c e l l e n t | y = s a f e) = \frac{1}{9} \\ P (T e r m = 5 y r s | y = s a f e) = \frac{2}{9} \\ P (I n c o m e = h i g h | y = s a f e) = \frac{3}{9} \\ P (C r e d i t = e x c e l l e n t | y = r i s k y) = \frac{1}{9} \\ P (T e r m = 5 y r s | y = r i s k y) = \frac{2}{9} \\ P (I n c o m e = h i g h | y = r i s k y) = \frac{2}{9} \\ P (C r e d i t = e x c e l l e n t) = \frac{2}{9} \\ P (T e r m = 5 y r s) = \frac{4}{9} \\ P (I n c o m e = h i g h) = \frac{5}{9} \end{cases}

由公式(2)可知：

\begin{aligned} P (y = s a f e | C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h) \\ = \frac{P (C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h | y = s a f e) P (y = s a f e)}{P (C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h)} \\ P (y = r i s k y | C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h) \\ = \frac{P (C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h | y = r i s k y) P (y = r i s k y)}{P (C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h)} \end{aligned}

而

\begin{aligned} P (C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h | y = s a f e) \\ = P (C r e d i t = e x c e l l e n t | y = s a f e) * P (T e r m = 5 y r s | y = s a f e) * P (I n c o m e = h i g h | y = s a f e) \\ = \frac{1}{9} * \frac{2}{9} * \frac{3}{9} = \frac{6}{729} \\ P (C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h | y = r i s k y) \\ = P (C r e d i t = e x c e l l e n t | y = r i s k y) * P (T e r m = 5 y r s | y = r i s k y) * P (I n c o m e = h i g h | y = r i s k y) \\ = \frac{1}{9} * \frac{2}{9} * \frac{2}{9} = \frac{4}{729} \\ P (C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h) \\ = P (C r e d i t = e x c e l l e n t) * P (T e r m = 5 y r s) * P (I n c o m e = h i g h) \\ = \frac{2}{9} * \frac{4}{9} * \frac{5}{9} = \frac{40}{729} \end{aligned}

所以

\begin{aligned} P (y = s a f e | C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h) & = \frac{\frac{6}{729} * \frac{5}{9}}{\frac{40}{729}} = \frac{15}{180} \\ P (y = r i s k y | C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h) & = \frac{\frac{4}{729} * \frac{4}{9}}{\frac{40}{729}} = \frac{8}{180} \end{aligned}

由此可知

P (y = s a f e | C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h) >

P (y = r i s k y | C r e d i t = e x c e l l e n t, T e r m = 5 y r s, I n c o m e = h i g h)

，所以该样本的类别标签应预测为

s a f e

。

朴素贝叶斯分类器优缺点

优点：逻辑简单，只需要知道贝叶斯公司、全概率公式即可。
缺点：朴素贝叶斯分类器是建立在“属性条件独立性假设”基础上的，而现实中往往各个属性之间是有联系的并不是独立地对分类结果产生影响。

朴素贝叶斯分类器种类

依据样本服从的概率分布的不同，朴素贝叶斯分类器可分为高斯贝叶斯分类器、多项式贝叶斯分类器、伯努利贝叶斯分类器等。

高斯贝叶斯分类器：假设属性的条件概率分布满足高斯分布。
多项式贝叶斯分类器：假设属性的条件概率分布满足多项式分布。
伯努利贝叶斯分类器：假设属性的条件概率分布满足二项分布。

参考文献

周志华. 机器学习 [D]. 清华大学出版社，2016.
华校专、王正林. Python大战机器学习 [D]. 电子工业出版社，2017.

图1

更多资料请移步github：
https://github.com/GarryLau/MachineLearning