为什么手写数字分类的主成分过多会导致准确性降低

Question

我目前正在使用 PCA 对 MNIST 数据库进行手写数字识别（每个数字有大约 1000 个观察值和 784 个特征）。我发现令人困惑的一件事是，当它有 40 台 PC 时，准确度最高。如果 PC 的数量从这一点开始增长，那么准确度就会开始不断下降。

根据我对 PCA 的理解，我认为我拥有的组件越多，我就越能更好地描述数据集。为什么我的电脑太多了，准确率会变低？

Answer 1

• 为了确定最佳组件数，您需要绘制elbow curve https://en.wikipedia.org/wiki/Elbow_method_(clustering)

• PCA 背后的想法是通过查找主成分来降低数据的维度。

最后，我不认为 PCA 可以过度拟合数据，因为它不是一种学习/拟合算法。

您只是试图根据特征向量投影数据以捕获沿轴的大部分方差。

这个视频应该会有所帮助：https://www.youtube.com/watch?v=_UVHneBUBW0