logistic回归--基本理论（1）

文章目录

• 1.逻辑斯蒂回归
• 1.1.逻辑斯蒂分布
• 1.2.二项式逻辑斯蒂回归模型--二类别
• 1.2.1.模型参数估计
• 1.3.多项式逻辑斯蒂回归模型--多类别

1.逻辑斯蒂回归

1.1.逻辑斯蒂分布

逻辑斯蒂分布（logistic distribution）：设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数：
$F(x)=P(X \le x)=\frac{1}{1+e^{-(x-\mu)/ \gamma}}$F(x)=P(X≤x)=1+e−(x−μ)/γ1​
逻辑斯蒂分布函数的导数：

逻辑斯蒂分布的密度函数和分布函数：

分布函数性质：
（1）S形曲线（sigmoid curve）
（2）以点($\mu$μ,1/2)为中心对称，即满足

（3）曲线在中心附近增长速度较快，在两端增长速度较慢
（4）形状参数的值越小，曲线在中心附近增长越快。

1.2.二项式逻辑斯蒂回归模型–二类别

二项式逻辑斯蒂回归模型（binomial logistic regression model）是一个种分类模型，类别取值为1和0。
二项式逻辑斯蒂回归模型的公式如下：



$w \in R^n$w∈Rn和$b \in R$b∈R是参数，w称为权值向量，b称为偏置。
有时b也会并入到w中，w加一个项，值为1即可，即：
$w=(w_1,w_2,...,w_n, b)$w=(w1​,w2​,...,wn​,b)
$x=(x_1,x_2,...,x_n,1)$x=(x1​,x2​,...,xn​,1)

对于给定的输入x，计算$P(Y=1|x)$P(Y=1∣x)和$P(Y=0|x)$P(Y=0∣x)，比较两者的大小，将实例分到概率值较大的那一类。

1.2.1.模型参数估计

逻辑斯蒂回归模型采用极大似然估计法计算模型参数，设数据集

其中，$x_i \in R^n$xi​∈Rn，$y_i \in \{0,1\}$yi​∈{0,1}，
设$P(Y=1|x)=\pi(x)$P(Y=1∣x)=π(x)和$P(Y=0|x)=\pi(x)$P(Y=0∣x)=π(x)
似然函数为：

对数似然函数为：

对L(w)求极大值，得到w的估计值，采用的方法是梯度下降法和拟牛顿法。

1.3.多项式逻辑斯蒂回归模型–多类别

上面介绍的逻辑斯谛回归模型是二项分类模型，用于二类分类。可以将其推广为多项逻辑斯谛回归模型（multi-nominal logistic regression model），用于多类分类。

假设离散型随机变量Y的取值集合是{1,2,3,…K}，那么多项逻辑斯底回归模型是