过拟合发生在当我们有一个非常灵活的模型（模型具有高能力）时，其本质上是通过紧密拟合来记住训练数据。这样的问题是模型不仅学到了训练数据中的实际关系，还学习了存在的噪声。灵活的模型具有高方差（variance），因为学到的参数（例如决策树的结构）将随着训练数据的不同而变化很大。
另一方面，因为对训练数据做出了假设，所以一个不灵活的模型具有较高的偏差（bias），（它偏向于对数据预先构思的想法）例如，线性分类器假设数据是线性的，不具备拟合非线性关系的灵活性。一个不灵活的模型甚至可能无法拟合训练数据，在高方差和高偏差这两种情况下，模型都无法很好地泛化到新数据之上。
一个能记住训练数据的非常灵活的模型与不能学习训练数据的不灵活模型之间的平衡称为偏差-方差权衡（bias-variance-tradeoff），它是机器学习中的一个基本概念。
好的模型应该是低方差、低偏差的。
低方差意味着模型不易出现过拟合，例如回归问题，你用了十个参数拟合和用五个参数拟合肯定是十个参数对训练集的训练效果好（偏差低），但是十个参数的模型方差也高。同样的，十个参数方差高会导致过拟合。造成最后模型在测试集上面的效果不是很好。