逻辑斯谛分布

logistic逻辑回归

分布函数属于逻辑斯谛函数,其图形是一条S形曲线(sigmoid curve)

logistic逻辑回归

二项逻辑斯谛回归模型

logistic逻辑回归

logistic逻辑回归

        这就是说,在逻辑斯谛回归模型中,输出Y=1的对数几率是输入x的线性函数。或者说,输出Y=1的对数几率是由输入x的线性函数表示的模型,即逻辑斯谛回归模型。

模型参数估计(最大似然估计)

       逻辑斯谛回归模型学习时,对于给定的训练数据集T={(x 1 ,y 1 ),(x 2 ,y 2 ),…,(x N ,y N )},其中,x i ∊R n ,y i ∊{0,1},可以应用极大似然估计法估计模型参数,从而得到逻辑斯谛回归模型。

logistic逻辑回归

似然函数为:

logistic逻辑回归

对数似然函数为:

logistic逻辑回归

       这样,问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯谛回归学习中通常采用的方法是梯度下降法及拟牛顿法。假设w的极大似然估计值是 ,那么学到的逻辑斯谛回归模型为:多项逻辑斯谛回归

logistic逻辑回归

 多项逻辑斯谛回归

      上面介绍的逻辑斯谛回归模型是二项分类模型,用于二类分类。可以将其推广为多项逻辑斯谛回归模型(multi-nominal logistic regression model),用于多类分类。假设离散型随机变量Y的取值集合是{1,2,…,K},那么多项逻辑斯谛回归模型是:

logistic逻辑回归

二项逻辑斯谛回归的参数估计法也可以推广到多项逻辑斯谛回归 

引用:李航《统计学习方法》

相关文章:

  • 2021-08-04
  • 2021-07-27
  • 2021-11-16
  • 2021-11-07
  • 2021-12-29
  • 2021-09-04
猜你喜欢
  • 2021-04-14
  • 2021-05-17
  • 2021-09-03
  • 2021-06-20
  • 2021-08-07
相关资源
相似解决方案