分类器的性质和冗余

【问题标题】：Nature and redundancy of classifiers分类器的性质和冗余
【发布时间】：2019-06-08 15:19:28
【问题描述】：

我在分类任务中应用了一组线性和非线性分类模型。输入数据是语言向量（CountVectorizer、Word2Vec）和二进制标签。在 scikit-learn 中，我选择了以下估算器：

LogisticRegression(),
LinearSVC(),
XGBClassifier(),

SGDClassifier(),
SVC(), # Radial basis function kernel
BernoulliNB(), # Naive Bayes seems widely used for LV models
KNeighborsClassifier(),
RandomForestClassifier(),
MLPClassifier()

问题：我是否正确LinearSVC() 是一个线性分类器，至少对于二元估计器的情况？
问题：专家认为，分类器之间是否存在明显的冗余？

感谢您的澄清。

【问题讨论】：

标签： python scikit-learn classification

【解决方案1】：

LogisticRegression()、LinearSVC()、SGDClassifier() 和 BernoulliNB() 是线性模型。默认损失函数SGDClassifier() 用作线性SVM，对数损失用作逻辑回归，因此这三个中的一个是多余的。您也可以将LogisticRegression() 替换为LogisticRegressionCV()，后者具有对正则化超参数的内置优化。

XGBClassifier() 和所有其他都是非线性的。

该列表似乎包括所有主要的sklearn 分类器。

【讨论】：