偏差度量了学习算法的期望与真实结果的偏差,刻画了算法本身的拟合能力,方差度量了同样大小的训练集的变动所导致的学习性能的变化。
偏差用于描述模型的拟合能力,方差用来描述模型的稳定性。
当训练度不足的时候,偏差主导模型的泛化误差;
当训练进入后期,模型的拟合能力增强,方差主导模型的泛化误差;
当训练足够的时候,如果拟合能力过强会导致过拟合。
Q1 泛化误差、偏差、方差与噪声之间的关系
学习器在训练集上的误差被称为“训练误差”或“经验误差”,在新样本的误差被称为“泛化误差”。
噪声为真实标记与数据集中实际标记之间的误差。
偏差为期望预测与真实标记的误差成为偏差。
泛化误差可分解为偏差、方差和噪声之和。
本问题涉及大量的公式运算,因为主要面向于面试对话,所以方程不再列出,有兴趣的可以点击此处来了解具体过程。
Q2 导致偏差和方差的原因是什么
偏差是由于模型的复杂度不够或者对学习算法做了错误的假设;
比如真实模型为三次函数,而拟合出来的为二次函数,会导致偏差激增,属于欠拟合现象。所以训练误差主要是偏差造成的。
而方差通常是模型复杂度过高导致的;
比如真实模型是二次函数,而拟合出来的是五次函数,会导致过拟合,方差增大。由方差引起的误差通常体现在测试误差相对训练误差的变化上。
hi 认识一下?
微信关注公众号:全都是码农 (allmanong)
你将获得:
关于人工智能的所有面试问题一网打尽!未来还有思维导图哦!
回复121 立即获得 已整理好121本python学习电子书。
回复89 立即获得 程序员史诗级必读书单吐血整理四个维度系列89本书。
回复167 立即获得 机器学习和python学习之路史上整理大数据技术书从入门到进阶最全本(66本)
回复18 立即获得 数据库从入门到进阶必读18本技术书籍网盘整理电子书(珍藏版)
回复56 立即获得 我整理的56本算法与数据结构书
未来还有人工智能研究生课程笔记等等,我们一起进步呀!