正则化的引入是为了解决线性回归中过拟合的问题，过拟合直观解释即训练出来的模型复杂度过高，对于当前用于训练的数据集而言预测非常精准，而对于未知数据样本的预测准确率逐渐走低，因此在目标函数中除了Loss Function以外引入了一个惩罚项。
其中惩罚项还可以进一步分为L1范数与L2范数，其中L1范数是趋向于使得一部分参数值w为0，也叫Lasso；L2范数是削弱某些权重的值来纠正，L2相比L1更常用一些。
* 矩阵求导过程略
引入正则项后通过正规方程法直接求解参数w，可见结果中一定可逆，这也是引入正则项后带来的好处。