线性回归——lasso回归和岭回归（ridge regression）
线性回归很简单，用线性函数拟合数据，用 mean square error (mse) 计算损失（cost），然后用梯度下降法找到一组使 mse 最小的权重。
lasso 回归和岭回归（ridge regression）其实就是在标准线性回归的基础上分别加入 L1 和 L2 正则化（regularization）。
线性回归（linear regression）
线性回归（linear regression），就是用线性函数 去拟合一组数据。
Lasso回归和岭回归
Lasso回归和岭回归的同和异：
相同：
- 都可以用来解决标准线性回归的过拟合问题。
（线性回归也存在过拟合问题）
不同：
- lasso 可以用来做 feature selection，而 ridge 不行。或者说，lasso 更容易使得权重变为 0，而 ridge 更容易使得权重接近 0。
从贝叶斯角度看，lasso（L1 正则）等价于参数 w 的先验概率分布满足拉普拉斯分布，而 ridge（L2 正则）等价于参数 w 的先验概率分布满足高斯分布。