一起学西瓜书07 贝尔斯分类器(一) 贝叶斯决策论

一起学西瓜书07 贝尔斯分类器

(一) 贝叶斯决策论

前言:贝叶斯定理

先简单的回顾一下概率论与数理统计中学习的贝叶斯定理
在这里,我以已经医疗诊断问题作为举例,来简单的讲一下贝叶斯定理的计算

案例介绍

这就是我们的问题,下面我把它抽象成数学语言
患病即为cancer 有病记为+

所以题目的条件就可以转换为下面一系列的式子

而我们的目标是计算$P(cancer|+) 与P(!cancer|+)$P(cancer∣+)与P(!cancer∣+)的值,从而判断是否患病

贝叶斯定理

下图就是贝叶斯定理的意义,可以根据已知求未知的概率

贝叶斯定理的公式如下
$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$P(B∣A)=P(A)P(A∣B)P(B)​


上图也很好理解
上面就简单的介绍一下贝叶斯定理

评分标准

对于我们之前那个问题,评分标准就是选出$P(cancer|+) 与P(!cancer|+)$P(cancer∣+)与P(!cancer∣+)中最大的那个
因为$P(A)$P(A)是个常数,所以我们只需要比较分子即可,也就是下图中的$argmaxP(A|B)P(B)$argmaxP(A∣B)P(B)
这里的H在我们之前的问题中就只有两种,也就是患病(cancer)与不患病(!cancer)

对于其他例子来说. P(A|B)中的A可能有很多种情况,不止我们案例中的化验这一种, 这里的P(A|B)可能代表了$P(A_1,A_2...A_n|B)$P(A1​,A2​...An​∣B) 当这些A都是相互独立的时候,我们的计算就是把它们都乘起来,也就是上图中的公式一样

正文 贝叶斯决策论

这里的$λ_{ij}$λij​就是分错的损失
这里的h(x)就是判断的标准,比如我们之前的案例里面就是取$P(cancer|+) 与P(!cancer|+)$P(cancer∣+)与P(!cancer∣+)中的最大值作为我们的结论

$λ_{ij}$λij​在这里就是 如果分类正确,那么就为0 不然就为1
对于我们刚刚的例子 假设$P(cancer|+)=0.6$P(cancer∣+)=0.6
那么$P(!cancer|+) = 0.4$P(!cancer∣+)=0.4
对于我们的结论来说,患病的概率就是0.6 ,与此用时, 有可能不患病的概率是0.4
在这里我们可以理解为 结论的正确率只有0.6 而条件风险是0.4
我们的目的是使条件风险最小,那么反过来就是使(概率0.6)P(c|x)最大
如下图所示


生成式模型 也就是贝叶斯公式,下图给出了各个公式的含义