损失函数的正则化
范数(Norm): 用来度量某个向量空间(或矩阵)中每个向量的长度或大小。
向量范数——L1和L2最常用
矩阵范数
线性回归的正则化
使用训练集拟合线性回归方程时，如使用多项式拟合时，一般来说拟合方程的次数越高拟合效果越好，损失函数越小，但拟合函数也变得更加复杂。
在某些异常的情况下，如训练的数据量较小或者特征过多时，测试集中如果出现先前训练集中没有的样本，预测结果未必有效，使得分类结果的方差较大，出现过拟合，由此可见损失函数过小也不可取，意味着模型的通用性不够，即需要提高泛化能力，因而加上正则化项。此处正则化参数的标识是α，有些资料中会显示为λ，因为在sklearn库中，此项参数的标识为α，为方便使用，标识采用α。
线性回归正则化后的梯度更新方法
与线性回归的梯度更新公式相同，当θk等于θj时，可以对式子求导，得到新的梯度更新公式。
为什么要使用正则化？
为什么
为什么要对回归使用正则化？
为加强对正则化的理解，举例说明回归为什么要正则化-Regularization
多项式的次数提高，对于拟合性能的提升不大。
当把训练样本数从500降低至498时，发现高次多项式对于拟合的效果反而下降，对数据的预测能力下降，出现过拟合的现象。
正则化的基本方法是将所有多项式的系数的绝对值之和-L1正则化，或者多项式的系数绝对值的平方和再开方-L2正则化加入到惩罚项中，并制定一个惩罚力度因子来避免产生畸形的系数；即通过使用Lasso回归-采取L1正则化，岭回归-采取L2正则化，或者弹性网回归-L1+L2正则化来降低过拟合。上面通过举例使用岭回归，可以发现模型克服了100次多项式带来的过拟合问题。
岭回归中正则权重的作用
正则强度α是正则化系数或惩罚力度因子，weights权重系数是回归方程中的系数，一条不同颜色的曲线代表权重系数向量的一个不同的分量。α往左越大，往右趋向于0，因此可以α可以对权重系数进行约束。
通过交叉验证找到最佳超参数α
交叉验证Cross Validation 是将训练集分成几份，分别用来训练，测试和验证，以寻找到最佳的超参数，在程序中设置好一组alpha后，程序可自行验证并返回最佳的alpha。
往期推荐
好文章，我 在看❤