1、逻辑回归分类器中权值w大小的影响

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

权值越大,带入如下公式就越快达到e的指数就越快接近-无穷。也就是整体概率值越快接近1。因此,权值w越大,曲线越抖。

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

 

2、整体cost在拟合度和权重之间折中

权值w越大,越容易过拟合时,为什么?。因此,整体cost要在拟合度和权值之间做个平衡。

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

 

3、偏差和方差的折中

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

 

4、正则惩罚项lambda的影响

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

 

5、逻辑回归:L2正则化的w更新

w更新一般公式:

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

逻辑回归的总梯度:

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

 

log似然导数:

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

 

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

 

正则化L2中lambda和权重w的关系:

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

 

6、逻辑回归:L1正则化的w更新

稀疏矩阵:

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

 

正则化L1中lambda和权重w的关系:

【机器学习课程-华盛顿大学】:3 分类 3.2 逻辑回归分类器过拟合

相关文章:

  • 2022-01-05
  • 2022-01-21
  • 2021-05-23
  • 2021-10-16
  • 2021-06-02
  • 2021-12-20
  • 2022-12-23
  • 2021-12-30
猜你喜欢
  • 2021-10-11
  • 2021-07-10
  • 2022-01-21
  • 2021-11-13
  • 2021-12-21
  • 2021-11-20
  • 2021-09-16
相关资源
相似解决方案