sklearn中拥有有非常庞大的线性回归模型家族,采用各种算法用以解决各类线性回归问题。不同的线性回归模型的参数设置、模型方法和调参策略并不一样,本文并不具体介绍每个模型的具体接口和使用事项,仅简单梳理下sklearn中的部分线性回归模型。

线性回归模型按照正则化策略:可分为普通回归问题(无正则化项)、L1正则(Lasso问题)、L2正则(Ridge问题)和弹性网ElasticNet(L1正则+L2正则)。

线性回归模型按照计算策略:可分为最小二乘法坐标轴轴下降法最小角回归法梯度下降法,同时对于Ridge回归可以利用核机巧将其推广到高维非线性空间。相关算法的细节可参考对应博文。值得强调的是,这里的梯度下降法是变形后的梯度下降法(如在Logsitic回归中介绍的各种优化器),因为原始的梯度下降法并不能解决L1正则项不可导的问题。

正则化策略计算策略这两个问题,对sklearn中的线性回归模型进行大概的梳理,可以得到不同的sklearn中不同模型的适用条件(见下图)。
sklearn中的线性回归模型

相关文章:

  • 2022-01-15
  • 2021-11-09
  • 2022-01-01
  • 2022-12-23
  • 2022-01-09
  • 2021-12-18
猜你喜欢
  • 2021-12-13
  • 2021-12-18
  • 2022-12-23
  • 2021-12-21
  • 2022-12-23
  • 2022-12-23
  • 2021-04-30
相关资源
相似解决方案