逻辑斯谛分布
分布函数属于逻辑斯谛函数,其图形是一条S形曲线(sigmoid curve)
二项逻辑斯谛回归模型
这就是说,在逻辑斯谛回归模型中,输出Y=1的对数几率是输入x的线性函数。或者说,输出Y=1的对数几率是由输入x的线性函数表示的模型,即逻辑斯谛回归模型。
模型参数估计(最大似然估计)
逻辑斯谛回归模型学习时,对于给定的训练数据集T={(x 1 ,y 1 ),(x 2 ,y 2 ),…,(x N ,y N )},其中,x i ∊R n ,y i ∊{0,1},可以应用极大似然估计法估计模型参数,从而得到逻辑斯谛回归模型。
似然函数为:
对数似然函数为:
这样,问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯谛回归学习中通常采用的方法是梯度下降法及拟牛顿法。假设w的极大似然估计值是 ,那么学到的逻辑斯谛回归模型为:多项逻辑斯谛回归
多项逻辑斯谛回归
上面介绍的逻辑斯谛回归模型是二项分类模型,用于二类分类。可以将其推广为多项逻辑斯谛回归模型(multi-nominal logistic regression model),用于多类分类。假设离散型随机变量Y的取值集合是{1,2,…,K},那么多项逻辑斯谛回归模型是:
二项逻辑斯谛回归的参数估计法也可以推广到多项逻辑斯谛回归
引用:李航《统计学习方法》