贝叶斯判别规则是以错分概率或风险最小为准则的判别规则，这两种的策略是不同的。
1. 贝叶斯决策的错分概率
两分类问题的情况下，贝叶斯分类是一定是最小错分概率的。因为分类就两种，也就是不是P(A|B)不是正确的就是错误的，没有第三种可能，所以根据贝叶斯公式选择最大概率max{ P(A|B), P(~A|B)}的结果P，因为我总会选那个概率最大的，概率和为1的情况下，剩下的自然是小的。
举例：下雨为事件A，有乌云为事件B，假设P(A|B)的概率为0.6，所以P(~A|B)也就是不下雨的概率为0.4，那么认为下雨的错误率就是0.4，显而易见。
多分类问题的情况下，假设有M种可能性，正确的分类仍然仅一种（记为类别right），那么错分就有M-1种。
计算一个总的错误率，即所有分为不是right类的概率的和：
因为M类是x条件下的所有可能分类，总概率为1，所以：
也就是1-right类概率。那么换句话说，如果想让分类器错误率最小，那就让后验概率P(ωright|x)最大即可。所以多分类就是选择P(ωm|x)最大的那一分类作为right就可以使得损失最小了。
多提一句：如果想让后验概率P(ωright|x) 最大，如果x参数未知，那就可以用最大似然估计来求解x。如果以Sigmoid函数作为事件为真（或者判断为类1）的后验概率，用线性回归模型的预测结果去逼近真实标记(也就是0,1两种标记)的对数几率，那么就可以最大似然估计来求解参数了，这就是逻辑回归的思路。
判定标准
(i)二分类：
贝叶斯公式：
所以有，常用的判别，也就是1/P(x)作为公共项，在比较时可以省去：
额外有两个定义，但是似乎不太常见：
(ii)多分类：
Max1~m{ P(ωm|x)} 就是最佳分类。
2. 贝叶斯最小风险判别
在一些情况下，最小错误率不一定为最佳。实际情况不是这样的，比如对于药品的检测，对于药品生产商而言，大部分的药品都是合格的，只有少数的不合格。如果我们把正常药品判断成异常药品，这样会增加总的错误率，给企业带来一些损失；但如果把异常药品判断成正常药品，虽然会使错误率最小，但病人可能会被使用不合格的药品，对治疗非常不利，甚至会使得病人耽误治疗，乃至于有生命危险。这样看，假阳性比假阴性要危险很多，所以要尽量减少假阳性出现的情况。可见这时使用错误率最小是不合适的。所以说，单纯地考虑后验概率的最小错误率，会带来更多的损失和风险，为了体现这种风险，我们对贝叶斯公式进行加权修正。
条件平均风险rj(x)公式为：
其中Lij是把ωi类分为ωj类的风险。Lij的取值为：
若i=j，即判别正确， Lij可以取负值或零，表示没有风险；
若i≠j，即判别错误， Lij应取正值，表示各种错分情况下的风险。
根据贝叶斯公式，式子可以写成：
由于P(x)是公共项目，所以可以省去，所以式子为：
举例二分类情况：
R1(x)的风险为2类分成1类的风险乘以2类的后验概率。
R2(x)的风险为1类分成2类的风险乘以1类的后验概率。
参考：
https://zhuanlan.zhihu.com/p/82402288 贝叶斯判别简要原理及其实例
https://www.zhihu.com/question/27670909/answer/540328411 如何简单理解贝叶斯决策理论