泛化误差可以分为三个部分,偏差(bias), 方差(variance) 和噪声(noise)。其中可控的是偏差(bias), 方差(variance)。
偏差: Bias,指的是模型预测值偏离真实值的程度;
方差: Variance,值模型预测值的离散程度,比如两条几乎相同的样本,但是预测值可能差很多;
Bias 和Variance 的关系如下图所示,模型可以预测的不准但是方差很小,比如第三个圆。
一般情况下模型偏差越小方差越大,即模型训练的越复杂训练集上的准确率越高越可能过拟合。过拟合的表现就是模型的方差较大。
交叉验证中就是根据偏差和方差的权衡来评估模型的效果