在决策树分类器上获得超过 99% 的准确率是否很好？

Question

我正在研究一个包含 100 万个数据集的二元分类问题。数据集有 84 个特征和两个目标变量 'Normal 和 Bad' 编码后为 0 和 1。

没有任何特征选择，我得到了 99.99900001，实际上，我不能相信这个分数。 我已经完成了 n_splits=10 拆分的 StratifiedKFold，我得到了 92.92%，但我需要超过 97%。当我改变 n_splits=30 时，我得到了 98% 的准确率。

n_splits=30 是否适用于 100 万个数据集，我也可以使用 n_splits=30 吗？谢谢。

这里是获得 99.999 准确率的示例代码

    from sklearn.tree import DecisionTreeClassifier

    from sklearn.model_selection import train_test_split
    X_train, X_test, y_train, y_test = train_test_split(X, 
    y,test_size=0.30, random_state=4)

    model = DecisionTreeClassifier()

    model.fit(X_train, y_train)

    result = model.score(X_test, y_test)
    print('Accuracy: ',(result)*100)

Answer 1

不要为了获得更好的价值而修改性能指标。由于您在交叉验证中通过不同数量的分割获得了大不相同的值，因此请执行重复交叉验证以获得更可靠的指标。

在任何情况下，目标都应该是获得对实际性能的可靠衡量，如果该值不可信，则不是高值。 30 折交叉验证是否合适取决于您的数据集中有多少变化。我会说这对您的数据集大小来说没问题，但如果不检查数据集，我不能肯定地回答这个问题。