深度学习之error来自哪里

error

error来自于bias和variance.
如果你知道你的error来自于哪里。就可以有针对性的调你的Module.

假如x的平均值是$\mu$μ,方差是$\sigma^2$σ2,但是在计算过程中得出平均值的结果不一定就是$\mu$μ,如图所示，足够多次进行平均值求解，然后得出的期望是$\mu$μ。
该图是对error的一次形象描述，最好的情况是左上角的情况，你所做的实验结果在靶心周围，偏离程度不大；可以说，均值是看靶心和你计算的$\mu$μ的距离，方差是看所实验数据的分散程度。
该图是把100次的实验结果放在一起，你会发现，函数复杂程度越大，函数都炸开了~~~

为什么会出现这种结果，是因为函数模型越简单的，被实验数据的影响程度越小。
这其实讲的是过拟合问题，要找到一个最优点。
从左到右是欠拟合到过拟合的过程。
如果你的模型不能拟合实验数据，就会有大的均值误差，这是欠拟合。
如果你的模型能够很好的拟合实验数据，但是不能很好的拟合测试数据，就有可能会有大的方差误差，这是过拟合。
对于欠拟合现象：增加特征，使用一个更复杂的模型。
对于过拟合现象，增加更多实验数据，正则化，使函数曲线更平滑。