朴素贝叶斯概率总是 1

Question

我开始使用 sklearn.naive_bayes.GaussianNB 进行文本分类，并且得到了很好的初步结果。我想使用分类器返回的概率作为置信度的度量，但是 predict_proba() 方法总是为所选类返回“1.0”，而对于所有其他类返回“0.0”。

我知道（来自here）“......不要太认真地对待 predict_proba 的概率输出”，但是到那个程度？！ 分类器可能会弄错 finance-investing 或 chords-strings，但 predict_proba() 输出没有任何犹豫的迹象...

关于上下文的一点：
- 我一直在使用 sklearn.feature_extraction.text.TfidfVectorizer 进行特征提取，首先没有使用 stop_words 或 min/max_df --> 我得到了非常大的向量。
- 我一直在分层类别树（浅层：深度不超过 3 层）上训练分类器，每个类别有 7 个文本（手动分类）。现在是flat 培训：我没有考虑层次结构。

生成的 GaussianNB 对象非常大（~300MB），预测速度相当慢：一个文本大约需要 1 秒。
这有关系吗？巨大的向量是这一切的根源吗？
如何获得有意义的预测？我需要使用不同的分类器吗？

这是我正在使用的代码：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import GaussianNB
import numpy as np
from sklearn.externals import joblib

Vectorizer = TfidfVectorizer(input = 'content')
vecs = Vectorizer.fit_transform(TextsList) # ~2000 strings
joblib.dump(Vectorizer, 'Vectorizer.pkl') 
gnb = GaussianNB()
Y = np.array(TargetList) # ~2000 categories 
gnb.fit(vecs.toarray(), Y)
joblib.dump(gnb, 'Classifier.pkl') 
...

#In a different function:
Vectorizer = joblib.load('Vectorizer.pkl')
Classifier = joblib.load('Classifier.pkl')
InputList = [Text] # One string
Vec = Vectorizer.transform(InputList)
Probs = Classifier.predict_proba([Vec.toarray()[0]])[0]
MaxProb = max(Probs)
MaxProbIndex = np.where(Probs==MaxProb)[0][0]
Category = Classifier.classes_[MaxProbIndex]
result = (Category, MaxProb)  

更新：
按照下面的建议，我尝试了 MultinomialNB 和 LogisticRegression。它们都返回不同的概率，并且在任何方面都更适合我的任务：更准确的分类、更小的内存对象和更快的速度（MultinomialNB 快如闪电！）。

我现在有一个新问题：返回的概率非常小——通常在 0.004-0.012 范围内。这是针对预测/获胜类别的（并且分类是准确的）。

Answer 1

"...predict_proba 的概率输出不要太认真"

我是写那个的人。关键是朴素贝叶斯倾向于预测几乎总是非常接近于零或非常接近于一的概率。正是您观察到的行为。逻辑回归（sklearn.linear_model.LogisticRegression 或 sklearn.linear_model.SGDClassifier(loss="log")）产生更现实的概率。

生成的 GaussianNB 对象非常大（~300MB），预测速度相当慢：一个文本大约需要 1 秒。

这是因为GaussianNB 是非线性模型，不支持稀疏矩阵（您已经发现了，因为您使用的是toarray）。使用MultinomialNB、BernoulliNB 或逻辑回归，它们在预测时速度更快，而且更小。他们的假设。对于术语特征，输入也更真实。 GaussianNB 确实不是一个很好的文本分类估计器。