特指缩放、交叉验证法、过拟合、正则化

特征缩放

特征缩放、交叉验证法、过拟合、正则化
       可以看到上面的例子,当数据不一致时,即类型和单位不一致时,会造成画的图像取的单元格大小相差很大,使用梯度下降法寻找全局最小值时的效果就不尽人意,所以为了解决这个问题,最好对数据进行处理,即进行数据的特征缩放,特征缩放有2种方式:数据归一化(可以把数据处理到0-1或者-1到1之间)、均值标准化(一般处理后的数据范围接近-0.5到+0.5)

特征缩放、交叉验证法、过拟合、正则化
特征缩放、交叉验证法、过拟合、正则化

       最后结果如下:

交叉验证法

       交叉验证法是一种测试的方法。一般情况下处理数据集时,会把数据集切分为训练集和测试集(验证集可有可无)。但是有时候数据集比较小,切分就不够,此时就可以使用交叉验证法(把数据平均分为n份。取m份为测试集,其余n-m份为训练集,则会得到误差n*(n-1)(n-m)/m!个误差,最后取所有误差的平均值)。交叉验证集的原理见下方:

特征缩放、交叉验证法、过拟合、正则化

过拟合(Overfitting)

特征缩放、交叉验证法、过拟合、正则化
特征缩放、交叉验证法、过拟合、正则化
       过拟合一般会出现训练时拟合效果好,但是测试时效果不好。防止过拟合的方法有:减少特征、增加数据量、正则化(Regularized)

正则化(Regularized)

特征缩放、交叉验证法、过拟合、正则化
       可以看到正则化后的代价函数在最后多了一个正则项,label为正则化系数,L1正则化则是正则化项取绝对值,L2正则化是正则化项取平方。label取值越大,表示正则化项越重要,当label=0时,则没有正则项。

相关文章:

  • 2021-09-04
  • 2022-12-23
  • 2021-06-16
  • 2022-12-23
  • 2022-01-01
  • 2022-12-23
  • 2021-04-10
  • 2021-10-09
猜你喜欢
  • 2021-09-14
  • 2021-05-11
  • 2021-09-19
  • 2021-12-16
  • 2022-12-23
  • 2021-10-24
  • 2021-10-17
相关资源
相似解决方案