是否可以计算任何类型分类器的后验概率？

Question

据我所知，朴素贝叶斯等分类器会计算数据的后验概率，并据此得出结果。 我的问题是任何分类器都可以产生后验概率吗？ 例如决策树如何生成它？

Answer 1

逻辑回归和神经网络等一些分类模型直接计算后验类概率。基于生成模型的模型，例如二次判别式和从混合密度派生的模型，也计算后验类概率。通过从树的叶子返回正样本的比例，决策树可以很容易地适应输出类概率。

一个突出的例外是支持向量机，它不返回概率。我想也许有人试图修改它以返回概率；不知道结果如何。

有关这些内容的更多信息，请参阅 Hastie、Tibshirani 和 Friedman，“统计学习的要素”（或许多文本中的任何一篇）。此类进一步的问题可能应该转到 stats.stackexchange.com。