logistic回归

一般的线性回归，一般是用于回归学习上

如何将线性回归思想应用在分类上面？

最直接的就是在线性函数的输出加个阶跃函数，用于非线性映射

设z=wTx+b

单位阶跃函数映射：y=⎧⎩⎨⎪⎪0,  z≤00.5,  z=01,z>0

然而单位阶跃函数不可以求导，因此在求解模型的时候不好求解

因此改成把这个非线性映射改成了：

y=11+e−z

这个函数是sigmoid函数中的一种，sigmoid就是S型的意思

当y>0.5的时候，就当做第1类，当y<0.5的时候，就当做第0类，这样就实现了分类了

巧妙的是：logistic函数输出的y，恰好p(Y=1)的概率

logistic回归的模型

logistic回归是一种概率建模，是用极大似然法来学习模型的。

假设一共有N个样本，则模型如下：

maxw∏i=1NP(Y=yi|X=xi)=∏i=1Np(xi;w)yi(1−p(xi;w))1−yi

这里面yi要么是0要么是1

而这里面，p(xi;w)=11+e−z这就是yi=1的概率

1−p(xi;w)=11+ez这就是yi=0的概率

如何求解这个优化问题？

一般要把它取对数，把连乘变成连加，再求导，求极值点，继而求出w

但是会发现会得到个超越方程，没有闭合解

因此一般用牛顿-拉斐森法来求，它是一种迭代法，逐步逼近最优解