为什么在 scikit-learn 中使用 RFECV 时，分类精度会随着使用的特征的增加而下降？

Question

谁能解释一下为什么分类的准确性会随着 Scikit-learn 中使用交叉验证的递归特征消除的特征的增加而下降？从此处 Scikit-learn 文档中报告的示例：Recursive feature elimination with cross-validation，似乎使用 7 个特征时产生了最好的分类结果。然而，当使用 17 个特征时，准确率下降了 25%。这怎么可能？我希望准确度会随着功能的增加而不断提高。

Answer 1

您所指的文档版本为旧版本。示例的当前版本是here 如果删除特征总是会降低性能，那么进行特征选择就没有意义了。 移除与目标无关的特征会减少过拟合。