机器学习线性模型(2)

我们已经知道如何使用线性模型进行回归学习，如果要做分类任务呢？

广义线性模型：y=g−1(wTx+b)$y=g^{-1}({\mathbf{w}}^T\mathbf{x}+b)$

现在只需找到一个单调可微函数g−1$g^{-1}$将分类任务的真实标记y$y$与线性回归模型的预测值wTx+b${\mathbf{w}}^T\mathbf{x}+b$联系起来.

考虑二分类任务，y∈{0,1}$y\in \{0,1\}$,z=wTx+b$z={\mathbf{w}}^T\mathbf{x}+b$ 是实值，将实值z转化微0/1值，最理想的是单位跃进函数

y=⎧⎩⎨0,0.5,1,z<0z=0z>0$$y=\{\begin{array}{ll}0,& z<0\\ 0.5,& z=0\\ 1,& z>0\end{array}$$

但是单位跃进函数不连续，不是我们要找的g−1$g^{-1}$，所以要找一个在一定程度上近似单位跃进函数的单调可微的函数，就是对数几率函数(logistic function)

y=11+e−z$$y=\frac{1}{1+e^{-z}}$$

从图中可以看到，对数几率函数是一种sigmoid函数(形似S的函数)

将对数几率函数作为g−1$g^{-1}$，得到

y=11+e−(wTx+b)————————(1)$$y=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}————————(1)$$

做变换后：

lny1−y=wTx+b————————(2)$$ln\frac{y}{1-y}={\mathbf{w}}^T\mathbf{x}+b————————(2)$$

若将y视作x作为正例的可能性，则1-y是x作为反例的可能性，y1−y$\frac{y}{1-y}$称作几率，lny1−y$ln\frac{y}{1-y}$称为对数几率

可以看出式(2)是在用线性回归模型的预测结果去逼近真实标记y的对数几率，对应的模型叫对数几率回归模型(logistic regression)， 注意：它实际是一种分类学习方法。

如何来确定(1)式中的w$\mathbf{w}$和b？将y视为类后验概率估计p(y=1|x)$p(y=1|x)$，得到下式：

lnp(y=1|x)p(y=0|x)=wTx+b$$ln\frac{p(y=1|x)}{p(y=0|x)}={\mathbf{w}}^T\mathbf{x}+b$$

⇒p(y=1|x)1−p(y=1|x)=ewTx+b$$\Rightarrow \frac{p(y=1|x)}{1-p(y=1|x)}=e^{{\mathbf{w}}^T\mathbf{x}+b}$$

⇒p(y=1|x)=ewTx+bewTx+b+1$$\Rightarrow p(y=1|x)=\frac{e^{{\mathbf{w}}^T\mathbf{x}+b}}{e^{{\mathbf{w}}^T\mathbf{x}+b}+1}$$

显然，

⇒p(y=0|x)=1ewTx+b+1$$\Rightarrow p(y=0|x)=\frac{1}{e^{{\mathbf{w}}^T\mathbf{x}+b}+1}$$

于是，我们可以通过极大似然法来估计w$\mathbf{w}$和b，给定数据集(xi,yi),i=1,2…,m$(x_i,y_i),i=1,2\dots ,m$,对数几率回归模型最大化对数似然，即每个样本属于其真实标记的概率越大越好：

ℓ(w,b)=∑i=1mlnp(yi|xi;w,b)$$\ell (\mathbf{w},b)=\sum _{i=1}^{m}lnp(y_i|x_i;\mathbf{w},b)$$

令：β=(w;b)$\beta =(\mathbf{w};b)$，x^=(x;1)$\hat{x}=(x;1)$，故wTx+b=βTx^${\mathbf{w}}^T\mathbf{x}+b={\beta }^T\hat{x}$
令: p1(x^;β)=p(y=1|x^;β)$p_1(\hat{x};\beta )=p(y=1|\hat{x};\beta )$,p0(x^;β)=p(y=0|x^;β)$p_0(\hat{x};\beta )=p(y=0|\hat{x};\beta )$

似然项可以重写为：

p(yi|xi;w,b)=yip1(x^;β)+(1−yi)p0(x^;β)$$p(y_i|{\mathbf{x}}_{\mathbf{i}};\mathbf{w},b)=y_i{p}_1(\hat{x};\beta )+(1-y_i)p_0(\hat{x};\beta )$$

=yieβTx^eβTx^+1+(1−yi)1eβTx^+1$$=y_i\frac{e^{{\beta }^T\hat{x}}}{e^{{\beta }^T\hat{x}}+1}+(1-y_i)\frac{1}{e^{{\beta }^T\hat{x}}+1}$$

=1+yieβTx^−yieβTx^+1$$=\frac{1+y_i{e}^{{\beta }^T\hat{x}}-y_i}{e^{{\beta }^T\hat{x}}+1}$$

对上式取对数

ln(1+yieβTx^−yi)−ln(eβTx^+1)$$ln(1+y_i{e}^{{\beta }^T\hat{x}}-y_i)-ln(e^{{\beta }^T\hat{x}}+1)$$

因为yi∈{0,1}$y_i\in \{0,1\}$，所以上式的第一项要么为0，要么为βTx^${\beta }^T\hat{x}$,故上边的最大化式等价于下面这个最小化式

ℓ(β)=∑i=1m(−yiβTx^+ln(eβTx^+1))$$\ell (\beta )=\sum _{i=1}^m(-y_i{\beta }^T\hat{x}+ln(e^{{\beta }^T\hat{x}}+1))$$

利用经典的数值优化算法如梯度下降、牛顿法都可以得到上式最优解。

β∗=argminβl(β)$${\beta }^{\ast }=\arg \underset{\beta }{min}\mathcal{l}(\beta )$$

---

线性判别分析(LDA)也称为Fisher判别分析

思想：给定训练样例集，设法将样例投影到一条直线上，使类内方差最小，类间方差最大，使分类效果最好。

给定数据集(xi,yi),i=1,2…,m$(x_i,y_i),i=1,2\dots ,m$,yi∈{0,1}$y_i\in \{0,1\}$，令Xi,μi,Σi$X_i,{\mu }_i,{\mathrm{\Sigma }}_i$分别表示第i∈{0,1}$i\in \{0,1\}$类示例的集合、均值向量、协方差矩阵。

则两类样本的中心在直线上的投影分别为：wTμ0$w^T{\mu }_0$和wTμ1$w^T{\mu }_1$

两类样本的协方差分别为：wTΣ0w$w^T{\mathrm{\Sigma }}_{0}w$和wTΣ1w$w^T{\mathrm{\Sigma }}_{1}w$

使同类样例投影点尽可能近，可以让同类样例投影点的协方差尽可能小，即wTΣ0w+wTΣ1w$w^T{\mathrm{\Sigma }}_{0}w+w^T{\mathrm{\Sigma }}_{1}w$尽可能小。

使异类样例的投影点尽可能远，可以让类中心之间的距离尽可能大，即||wTμ0−wTμ1||2$||w^T{\mu }_0-w^T{\mu }_1|{|}^2$尽可能大。

所以我们的目标是最大化下式：

J=||wTμ0−wTμ1||2wTΣ0w+wTΣ1w$$J=\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}^2}{w^T{\mathrm{\Sigma }}_{0}w+w^T{\mathrm{\Sigma }}_{1}w}$$

=wT(μ0−μ1)(μ0−μ1)TwwT(Σ0+Σ1)w$$=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\mathrm{\Sigma }}_0+{\mathrm{\Sigma }}_1)w}$$

定义类内散度矩阵Sw$S_w$:

Sw=Σ0+Σ1=∑x∈X0(x−μ0)(x−μ0)T+∑x∈X1(x−μ1)(x−μ1)T$$S_w={\mathrm{\Sigma }}_0+{\mathrm{\Sigma }}_1=\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T$$

定义类间散度矩阵Sb$S_b$:

Sb=(μ0−μ1)(μ0−μ1)T$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$

所以J可以重写为：

J==wTSbwwTSww$$J==\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$

这就是LDA要最大化的目标，即Sb$S_b$与Sw$S_w$的广义瑞利商。
可以看到，上式分子分母都是w的二次项，所以解与w的长度无关，只与其方向有关，不失一般性，令wTSww=1$w^T{S}_{w}w=1$,则上式等价于

minw −wTSbws.t.    wTSww=1$$\begin{gathered} \underset{w}{min}-w^T{S}_{b}w \\ s.t.w^T{S}_{w}w=1 \end{gathered}$$

由拉格朗日乘子法，上式等价于：

Sbw=λSww$$S_{b}w=\lambda S_{w}w$$

Sbw=(μ0−μ1)(μ0−μ1)Tw$S_{b}w=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$,其中(μ0−μ1)Tw$({\mu }_0-{\mu }_1{)}^{T}w$是一个标量，所以Sbw$S_{b}w$的方向恒为μ0−μ1${\mu }_0-{\mu }_1$,故有：Sbw=λ(μ0−μ1)$S_{b}w=\lambda ({\mu }_0-{\mu }_1)$.

所以可以得到：w=S−1w(μ0−μ1)$w=S_w^{-1}({\mu }_0-{\mu }_1)$

当两类数据同先验，满足高斯分布且协方差相等时，LDA可以达到最优分类！

LDA推广到多分类任务中，emmmmm以后再看吧