【发布时间】：2012-08-31 03:49:33
【问题描述】：
贝叶斯网络和朴素贝叶斯分类器有什么区别？我注意到一个刚刚在 Matlab 中实现为 classify 另一个有一个完整的网络工具箱。
如果您能在回答中解释哪一个更有可能提供更好的准确性，我将不胜感激（不是先决条件）。
【问题讨论】：
标签： matlab machine-learning bayesian naivebayes bayesian-networks
【发布时间】：2012-08-31 03:49:33
【问题描述】：
简短回答，如果您只对解决预测任务感兴趣：使用朴素贝叶斯。
贝叶斯网络（具有良好的wikipedia 页面）以非常通用的方式模拟特征之间的关系。如果您知道这些关系是什么，或者有足够的数据来推导它们，那么使用贝叶斯网络可能是合适的。
朴素贝叶斯分类器是一个简单的模型，用于描述特定类别的贝叶斯网络 - 其中所有特征在类别条件下都是独立的。因此，存在朴素贝叶斯无法解决的某些问题（示例如下）。但是，它的简单性也使其更易于应用，并且在许多情况下需要较少的数据即可获得良好的结果。
示例：异或
二元特征 x1 和 x2 以及目标变量 y = x1 XOR x2 存在学习问题。
在朴素贝叶斯分类器中，x1 和 x2 必须被独立处理 - 所以你会计算诸如“y = 1 给定x1 = 1 的概率” - 希望你能看到这不是有帮助，因为x1 = 1 不会使y = 1 的可能性增加或减少。由于贝叶斯网络不假设独立性，因此它能够解决这样的问题。
【讨论】：
-
那么对于基因-表型预测，哪个更好？我们知道一组基因可以建立一个通路，不同的生物可能使用不同的通路来实现相同的新陈代谢。所以我们在基因组学中有“if (gene1 and gene2) or (gene3 and gene4) then yes else no”的情况。
朴素贝叶斯只是一般贝叶斯网络的受限/约束形式，您可以在其中强制执行类节点不应有父节点以及与属性变量对应的节点之间不应有边的约束。因此，没有什么可以阻止一般贝叶斯网络用于分类 - 预测的类别是当（条件）所有其他变量以通常的贝叶斯推理方式设置为预测实例值时具有最大概率的类别.关于这方面的一篇好论文是“Bayesian Network Classifiers, Machine Learning, 29, 131–163 (1997)”。第 3 节特别令人感兴趣。虽然朴素贝叶斯是更一般的贝叶斯网络的一种受限形式，但本文还讨论了为什么朴素贝叶斯能够并且确实在分类任务中优于一般贝叶斯网络。
【讨论】：
对于贝叶斯网络作为分类器，特征的选择是基于一些scoring functions，如贝叶斯评分函数和最小描述长度（两者在理论上是等价的，因为有足够的训练数据）。评分函数主要限制使用数据的结构（连接和方向）和参数（可能性）。在学习了结构之后，类仅由马尔可夫毯中的节点（其父母、孩子和孩子的父母）确定，并且所有给定马尔可夫毯的变量都被丢弃。
对于现在比较知名的朴素贝叶斯网络，所有的特征都被认为是属性，并且在给定类的情况下是独立的。
贝叶斯网络和朴素贝叶斯网络各有优缺点，我们可以看到性能比较（主要来自 UCI 存储库的 25 个数据集），如下图所示：
我们可以看到，在这些数据集上，对角线下方的一些点表示朴素贝叶斯的性能优于贝叶斯网络，而对角线上方的一些点在其他一些数据集上表示相反。
贝叶斯网络比朴素贝叶斯更复杂，但它们的性能几乎一样好，原因是贝叶斯网络性能比朴素贝叶斯差的所有数据集都有超过 15 个属性。那是在结构学习期间，一些关键属性被丢弃。
我们可以将两者结合起来，并在朴素贝叶斯的特征之间添加一些联系，它就变成了树增强朴素贝叶斯或 k 依赖贝叶斯分类器。
【讨论】：