过拟合的产生:噪声;复杂模型拟合数据
正则化----简单的模型来拟合复杂的数据
什么是正则化?—对它做一个限制,使其在一定 的范围内。
高次项是包含低次项的;w要尽可能的小找最优解:就是找这个圆和之前的求解过程中相交的这个点。
正则化可能会导致误差大,但是泛化性能会好。
N:取平均 2:w^2中的2
landa/N:N可有可无,可以设置lamda=lamda/N正则化圆的大小是由lamda决定的。
下面是Ridge回归
逻辑回归:1/(1+exp(-z))中z就是线性回归,可以在z中加入正则化----这就是penalty的来源