小数据集 < 200 个样本的二元分类 [关闭]答案

【问题标题】：Binary Classification on small dataset < 200 samples [closed]小数据集 < 200 个样本的二元分类 [关闭]
【发布时间】：2017-05-26 23:44:33
【问题描述】：

我有一个由 181 个样本、10 个特征和一个目标变量组成的数据集。这 10 个特征本质上是数字和连续的。我必须执行二进制分类。我做了以下工作：-

I have performed 3 Fold cross validation and got following accuracy results using various models:-

LinearSVC:
0.873
DecisionTreeClassifier:
0.840
Gaussian Naive Bayes:
0.845
Logistic Regression:
0.867
Gradient Boosting Classifier
0.867
Support vector classifier rbf:
0.818
Random forest:
0.867
K-nearest-neighbors:
0.823

请指导我如何为这种大小的数据集选择最佳模型并确保我的模型没有过度拟合？我已经按照 sklearn map http://scikit-learn.org/stable/tutorial/machine_learning_map/

【问题讨论】：

这与编程无关。尝试在cross-validated 或data science 上发布此内容

标签： python machine-learning classification data-mining prediction

【解决方案1】：

您永远无法完全消除它，尤其是对于这么小的样本。

首先交叉验证 - 你已经在做。其次使用默认参数。如果你使用交叉验证的输出来改变参数，那么你很可能会过拟合。

最后，查看整个混淆矩阵或总结这一点的指标，例如 f1，而不是准确度。如果 99% 的人没有患癌症，那么预测没有人患癌症的模型的准确率为 99%，但不是很有帮助。

【讨论】：