线性回归
高斯分布
但是有些数据真的不服从高斯分布,所以这时再假设为高斯分布,即会有问题了。
最大似然估计与最小二乘法的本质
合理假设
求解目标函数
所以我们希望参数不要太大,虽然最后通过加加减减得到-10到10区间的值,但实际上是不稳定的。
加入正则惩罚项
在做预测时我们希望有时希望重视稀疏解,即希望有些参数为0,即认为所对应的特征对于预测结果无效。可保证模型越简单。
L1正则项的特征选择,希望得到稀疏解,即希望加上一个数一数参数分量中不等于0的数目,即某一个维度不等于0作为正则惩罚项。
箭头所指向就是在有效范围内的最小值。
参数数据的使用
利用梯度下降法求解模型中的参数
函数是凸函数,找到局部极小值实际上就是全局最小值。