Andrew Ng机器学习课程笔记（四）之监督学习之Generalized Linear Models

• Preface
• Exponential Family
  • 1.Bernoulli Distribution
  • 2.Gaussian Distribution
  • Multinomial Distribution
• Generalized Linear Models
  • Three Assumptions
  • 由Bernoulli Distribution到Logistic Regression模型
  • 由Gaussian Distribution到Ordinary Least Squares模型
  • 由Multinomial Distribution到Softmax Regression模型

Preface

主要内容：
Exponential Family（指数分布族）
Generalized Linear Models（广义线性模型）
Softmax Regression

Exponential Family

首先，我们回忆一下前面几节课所讲的内容，主要是通过高斯分布和伯努力分布进而推导出最小二乘法概率模型与逻辑回归概率模型。
y∈R:Gaussian(ϕ)→LeastSquares(1)$\begin{array}{}\text{(1)}& y\in \mathbb{R}:Gaussian(\varphi )\to LeastSquares\end{array}$
y∈{0,1}:Bernoulli(ϕ)→LogisticRegression(2)$\begin{array}{}\text{(2)}& y\in \{0,1\}:Bernoulli(\varphi )\to LogisticRegression\end{array}$
而，高斯分布和伯努力分布都可以写成指数分布族的形式：

p(y∣η)=b(y)exp(ηT⋅T(y)−a(η))(3)$$\begin{array}{}\text{(3)}& p(y\mid \eta )=b(y)\exp \left({\eta }^T\cdot T(y)-a(\eta )\right)\end{array}$$

其中，η$\eta$ 为自然参数(nature parameter)，T(y)$T(y)$ 是充分统计量（sufficient statistic），在一般情况下，T(y)=y$T(y)=y$ 。当参数a$a$ ，b$b$ ，T(y)$T(y)$ 都固定以后，就定义了一个以η$\eta$ 为参数的函数族。

接下来以高斯分布和伯努力分布说明如何定义了一个以η$\eta$ 为参数的函数族：

1.Bernoulli Distribution

伯努利分布是对0，1分布的问题进行建模。所以，其概率密度函数如下：

Bernoulli(ϕ)=p(y∣η)={p(y=1∣y;φ)=φp(y=0∣y;φ)=1−φ,y∈{0,1}(4)$$\begin{array}{}\text{(4)}& Bernoulli(\varphi )=p(y\mid \eta )=\{\begin{array}{l}p(y=1\mid y;\phi )=\phi \\ p(y=0\mid y;\phi )=1-\phi \end{array},y\in \{0,1\}\end{array}$$

即，

P(y,ϕ)=ϕy(1−ϕ)(1−y)=exp(logϕy(1−ϕ)(1−y))=exp(ylogϕ+(1−y)log(1−ϕ))=exp(ylogϕ1−ϕ+log(1−ϕ))(5)(6)(7)(8)$$\begin{array}{}\text{(5)}& P(y,\varphi )& ={\varphi }^y(1-\varphi {)}^{(1-y)}\text{(6)}& & =exp(log{\varphi }^y(1-\varphi {)}^{(1-y)})\text{(7)}& & =exp(ylog\varphi +(1-y)log(1-\varphi ))\text{(8)}& & =exp(ylog\frac{\varphi }{1-\varphi }+log(1-\varphi ))\end{array}$$

所以有，
η=logϕ1−ϕ(9)$\begin{array}{}\text{(9)}& \eta =log\frac{\varphi }{1-\varphi }\end{array}$
ϕ=11+e−η(10)$\begin{array}{}\text{(10)}& \varphi =\frac{1}{1+e^{-\eta }}\end{array}$

P(y,ϕ)=−log(1−ϕ)=log(1+eη)(11)(12)$$\begin{array}{}\text{(11)}& P(y,\varphi )& =-log(1-\varphi )\text{(12)}& & =log(1+e^{\eta })\end{array}$$

T(y)=y(13)$\begin{array}{}\text{(13)}& T(y)=y\end{array}$
b(y)=1(14)$\begin{array}{}\text{(14)}& b(y)=1\end{array}$
这样我们就可以清楚地看出伯努力分布如何定义了一个以η$\eta$ 为参数的函数族。同时也说明了，y∈{0,1}:Bernoulli(ϕ)→LogisticRegression$y\in \{0,1\}:Bernoulli(\varphi )\to LogisticRegression$ 的模型函数的logistic函数的形式问题。

2.Gaussian Distribution

在线性回归模型中，σ2${\sigma }^2$ 的取值对于最后的 θ$\theta$ 与 hθ(x)$h_{\theta }(x)$ 无影响，故以在这里，我们将σ2${\sigma }^2$ 取值为1。所以，高斯分布概率密度函数如下：

N(y;μ,1)=12π−−√exp(−12(y−μ)2)=12π−−√exp(−12y2−12μ2+μy)=12π−−√exp(−12y2)exp(μy−12μ2)(15)(16)(17)$$\begin{array}{}\text{(15)}& N(y;\mu ,1)& =\frac{1}{\sqrt{2\pi }}exp\left(-\frac{1}{2}(y-\mu {)}^2\right)\text{(16)}& & =\frac{1}{\sqrt{2\pi }}exp\left(-\frac{1}{2}{y}^2-\frac{1}{2}{\mu }^2+\mu y\right)\text{(17)}& & =\frac{1}{\sqrt{2\pi }}exp\left(-\frac{1}{2}{y}^2\right)exp\left(\mu y-\frac{1}{2}{\mu }^2\right)\end{array}$$

所以有，

η=μ(18)$\begin{array}{}\text{(18)}& \eta =\mu \end{array}$
T(y)=y(19)$\begin{array}{}\text{(19)}& T(y)=y\end{array}$
a(η)=μ2/2=η2/2(20)$\begin{array}{}\text{(20)}& a(\eta )={\mu }^2/2={\eta }^2/2\end{array}$
b(y)=12π√exp(−12y2)(21)$\begin{array}{}\text{(21)}& b(y)=\frac{1}{\sqrt{2\pi }}exp\left(-\frac{1}{2}{y}^2\right)\end{array}$

这样我们就可以清楚地看高斯分布如何定义了一个以η$\eta$ 为参数的函数族。

这样，我们就说明了高斯分布和伯努力分布属于指数分布族 。同样的还有泊松分布（用于对记数建模，例如网站的访客数量，商店的顾客数）、伽马分布与指数分布（用于正数的分布，对间隔进行建模，例如在公交站等车时的下一趟车什么时候到）、β$\beta$ 分布与Dirichlet分布（用于小数的分布，对概率分布进行建模的概率分布）、Wishart分布（协方差矩阵分布）等等都属于指数分布族。

Multinomial Distribution

多项式分布是对伯努力分布的多元扩展，主要用于解决多分类问题。多分类问题使得对于0-1问题建模的伯努力分布 y∈{0,1}$y\in \{0,1\}$ 无法满足问题需要，进而有 y∈{1,2...k}$y\in \{1,2...k\}$ 。

定义1：概率 p(y=i)=ϕi$p(y=i)={\varphi }_i$ ，为了避免过参数化所以有：ϕi=p(y=i;ϕ)${\varphi }_i=p(y=i;\varphi )$，
k∈{1,k−1}$k\in \{1,k-1\}$ ，可以推出 ϕk=1−∑i=1k−1ϕi${\varphi }_k=1-\sum _{i=1}^{k-1}{\varphi }_i$ 。
定义2：由于 T(y)≠y$T(y)\ne y$ ，所以 T(y)∈Rk−1$T(y)\in {\mathbb{R}}^{k-1}$ ,即为：

定义3： 指示器函数 1{true}=1;1{false}=0$1\{true\}=1;1\{false\}=0$ ，既有 (T(y))i=1{y=i}$(T(y){)}_i=1\{y=i\}$ ,继而推得 E[(T(y))i]=P(y=i)=ϕi$E[(T(y){)}_i]=P(y=i)={\varphi }_i$ 。

所以，多项式分布概率密度函数如下：

所以有，

所以，推导可得：ηi=logϕiϕk${\eta }_i=log\frac{{\varphi }_i}{{\varphi }_k}$ ，同时ηk=logϕkϕk=log1=0${\eta }_k=log\frac{{\varphi }_k}{{\varphi }_k}=log1=0$ 。

继续推导：

eηi=ϕiϕk(22)$$\begin{array}{}\text{(22)}& e^{{\eta }_i}=\frac{{\varphi }_i}{{\varphi }_k}\end{array}$$

ϕkeηi=ϕi(23)$$\begin{array}{}\text{(23)}& {\varphi }_k{e}^{{\eta }_i}={\varphi }_i\end{array}$$

ϕk∑i=1keηi=∑i=1kϕi=1(24)$$\begin{array}{}\text{(24)}& {\varphi }_k\sum _{i=1}^k{e}^{{\eta }_i}=\sum _{i=1}^k{\varphi }_i=1\end{array}$$

ϕk=1∑i=1keηi(24)$$\begin{array}{}\text{(24)}& {\varphi }_k=\frac{1}{\sum _{i=1}^k{e}^{{\eta }_i}}\end{array}$$

由等式（23）ϕkeηi=ϕi${\varphi }_k{e}^{{\eta }_i}={\varphi }_i$ 可以得：

ϕi=ϕkeηi=eηi∑j=1keηj(25)$$\begin{array}{}\text{(25)}& {\varphi }_i={\varphi }_k{e}^{{\eta }_i}=\frac{e^{{\eta }_i}}{\sum _{j=1}^k{e}^{{\eta }_j}}\end{array}$$

Generalized Linear Models

Three Assumptions

首先我们对于GLM（Generalized Linear Models，广义线性模型）做出下述三个假设（设计决策）：

1. y|x;θ∼ExponentialFamily(η)$y|x;\theta \sim ExponentialFamily(\eta )$ ,假设一的式子表示变量y$y$ 在给定的x$x$ ，并以θ$\theta$ 为参数下的条件概率分布，属于以自然参数 η$\eta$ 的指数分布族。
2. 给定 x$x$ ，目标输出期望 E[T(y)|x]$E[T(y)|x]$，估计函数为：h(x)=E[T(y)|x]$h(x)=E[T(y)|x]$，一般 T(y)=y$T(y)=y$ 。
3. η=θTx$\eta ={\theta }^{T}x$ ，即指数分布族中参数 η$\eta$ 与输入特征 x$x$ 满足某种线性关系。（一般而言，ηi=θTix,η∈R${\eta }_i={\theta }_i^{T}x,\eta \in \mathbb{R}$）

由Bernoulli Distribution到Logistic Regression模型

Step1：Bernoulli：y|x;θ∼ExpFamily(η)$y|x;\theta \sim ExpFamily(\eta )$ ；
Step2：由假设二 hθ(x)=E(y|x;θ)=P(y=1|x:θ)=ϕ$h_{\theta }(x)=E(y|x;\theta )=P(y=1|x:\theta )=\varphi$ ；
Step3：由公式（10）ϕ=1/(1+e−η)$\varphi =1/(1+e^{-\eta })$ 和 假设三η=θTx$\eta ={\theta }^{T}x$ ；
Step4：所以 ϕ=1/(1+e−η)→ϕ=1/(1+e−θTx)$\varphi =1/(1+e^{-\eta })\to \varphi =1/(1+e^{-{\theta }^{T}x})$ ；
Step5： ϕ=1/(1+e−θTx)$\varphi =1/(1+e^{-{\theta }^{T}x})$ 就是Logistic Regression模型；

Note：

1. g(η)=E[y|η]=(1+e−η)−1$g(\eta )=E[y|\eta ]=(1+e^{-\eta }{)}^{-1}$ ，正则响应函数 。
2. g(η)−1$g(\eta {)}^{-1}$，正则关联函数。

由Gaussian Distribution到Ordinary Least Squares模型

Step1：Gaussian：y|x;θ∼ExpFamily(η)∼N(μ,σ2)$y|x;\theta \sim ExpFamily(\eta )\sim N(\mu ,{\sigma }^2)$；
Step2：由假设二 hθ(x)=E(y|x;θ)=μ$h_{\theta }(x)=E(y|x;\theta )=\mu$ ；
Step3：由公式（18）η=μ$\eta =\mu$ 和 假设三η=θTx$\eta ={\theta }^{T}x$ ；
Step4：所以 hθ(x)=E(y|x;θ)=μ=η=θTx$h_{\theta }(x)=E(y|x;\theta )=\mu =\eta ={\theta }^{T}x$ ；
Step5： hθ(x)=θTx$h_{\theta }(x)={\theta }^{T}x$ 就是Ordinary Least Squares模型；

由Multinomial Distribution到Softmax Regression模型

Step1：Multinomial ：y|x;θ∼ExpFamily(η)$y|x;\theta \sim ExpFamily(\eta )$；
Step2：由假设三 η=θTx$\eta ={\theta }^{T}x$ ，

p(y=i|x;θ)=ϕi=eηi∑j=1keηj=eθTix∑j=1keθTjx(26)(27)(28)$$\begin{array}{}\text{(26)}& p(y=i|x;\theta )& ={\varphi }_i\text{(27)}& & =\frac{e^{{\eta }_i}}{\sum _{j=1}^k{e}^{{\eta }_j}}\text{(28)}& & =\frac{e^{{\theta }_i^{T}x}}{\sum _{j=1}^k{e}^{{\theta }_j^{T}x}}\end{array}$$

；

Step3：由假设二

；

For Example：
假设有一个大小为m的训练集，它的似然函数为：

最后在在有了最大似然函数之后，我们就可以使用牛顿法或梯度法来求 θ$\theta$ 。