改善神经网络（1）

一，偏差与方差

偏差：是结果与标准的偏离程度，方差：是反映随机变量里离散程度

对于一个实际问题，有一个基本误差，在训练集与测试集在同一数据集上时

1，训练集与测试集的误差相差不大，且接近基本误差时-----低偏差，低方差  拟合较好

2,   训练集的偏差小 ，测试集的偏差较大 ------过拟合  方差大  

 看模型的训练结果，如果偏差较大 ，建立更复杂的模型    增加隐藏层的层数， 增加神经节点数

如果方差过大----过拟合

1，减少特征数

2，正则化

为了解决过拟合问题----加入正则项

要使参数 θ₃ 和 θ₄ 足够的小。

当θ₃ 和 θ₄ 约等于0使  损失函数最小。