机器学习（六）统计学习理论

统计学习理论的意义

统计学习理论提供了机器学习的一个理论基础。通过理论推导，从本质上说明了机器学习为什么会出现过拟合现象，以及过拟合与模型选择、训练数据之间有什么关系。

数学推导

设训练集S={(xi,yi)}mi=1$S=\{(x_i,y_i){\}}_{i=1}^m$,所有的(xi,yi)$(x_i,y_i)$独立同分布（Independent and identical distribution），则我们可以定义分类器hθ$h_{\theta }$测试误差（这里指的是在训练集上的误差）为(Empirical Risk)：

ε^(hθ)=1m∑i=1mI(hθ(xi)≠yi)$$\hat{\epsilon }(h_{\theta })=\frac{1}{m}\sum _{i=1}^{m}I(h_{\theta }(x_i)\ne y_i)$$

其中，函数I(x)$I(x)$是一个示性函数，这个误差的定义非常好理解。
接着我们定义分类器hθ$h_{\theta }$的增广误差为（Generalization Risk）

ε(hθ) =P(x,y)(h(x)≠y)=∫hθ(x,y)≠yp(x,y)dxdy$$\begin{array}{rl}\epsilon (h_{\theta })& =P_{(x,y)}(h(x)\ne y)\\ & ={\int }_{h_{\theta }(x,y)\ne y}p(x,y)dxdy\end{array}$$

这里的增广误差是指在真实世界中出现的各种情况的误差的平均。显然，测试误差并不能反映真实情况。那么，测试误差与真实的误差之间有多大的差距呢？前人的研究得到这样的一个结论

P(|ε(hθ−ε^(hθ))|>δ)≤2e−2δ2m$$P(|\epsilon (h_{\theta }-\hat{\epsilon }(h_{\theta }))|>\delta )\le 2e^{-2{\delta }^{2}m}$$

也就是说，真实误差与测试误差之间相差大于δ$\delta$的概率小于2e−2δ2m$2e^{-2{\delta }^{2}m}$。上式右边与训练样本数m是相关的。训练样本越多，测试误差与真实误差之间的差距大于某个值的概率会越小。下面我们来证明上式，先看一个引理。

引理：设z1,z2,...,zm$z_1,z_2,...,z_m$是 m$m$个独立随机变量，满足P(zi=1)=ϕ,P(zi=0)=1−ϕ $P(z_i=1)=\varphi ,P(z_i=0)=1-\varphi$ (i=1~m)
定义：

ϕ^=1m∑i=1mzi$$\hat{\varphi }=\frac{1}{m}\sum _{i=1}^m{z}_i$$

则有

P(|ϕ^−ϕ|>δ)≤2e−2δ2m$$P(|\hat{\varphi }-\varphi |>\delta )\le 2e^{-2{\delta }^{2}m}$$

上式叫做Hoeffiding不等式，Hoeffding不等式是关于一组随机变量均值的概率不等式。证明如下。
证明：定义

zi=I(hθ(xi)≠yi)$$z_i=I(h_{\theta }(x_i)\ne y_i)$$

P(zi=1)=ε(hθ)$$P(z_i=1)=\epsilon (h_{\theta })$$

而

ε^(hθ)=1m∑i=1mzi$$\hat{\epsilon }(h_{\theta })=\frac{1}{m}\sum _{i=1}^m{z}_i$$

所以

P(|ϕ^−ϕ|>δ)≤2e−2δ2m$$P(|\hat{\varphi }-\varphi |>\delta )\le 2e^{-2{\delta }^{2}m}$$

---

假设对一个分类器h来说，hθ$h_{\theta }$只有有限个取值，设取值个数为K$K$。设H={hθ}θ=1→K$H=\{h_{\theta }{\}}_{\theta =1\to K}$,则

P(∃hθϵH,|ε(hθ)−ε(hθ)^|>δ)≤2Ke−2δ2m$$P(\mathrm{\exists }{h}_{\theta }ϵH,|\epsilon (h_{\theta })-\widehat{\epsilon (h_{\theta })}|>\delta )\le 2K{e}^{-2{\delta }^{2}m}$$

P(∃hθϵH,|ε(hθ)−ε(hθ)^|<δ)≤1−2Ke−2δ2m$$P(\mathrm{\exists }{h}_{\theta }ϵH,|\epsilon (h_{\theta })-\widehat{\epsilon (h_{\theta })}|<\delta )\le 1-2K{e}^{-2{\delta }^{2}m}$$

设2Ke−2r2m=δ$2K{e}^{-2r^{2m}}=\delta$,则有

r=1mlog(2Kg)−−−−−−−−−√$$r=\sqrt{\frac{1}{m}\log (\frac{2K}{g})}$$

P(∃hθϵH,|ε(hθ)−ε(hθ)^|<1mlog(2Kg)−−−−−−−−−√)≤1−δ$$P(\mathrm{\exists }{h}_{\theta }ϵH,|\epsilon (h_{\theta })-\widehat{\epsilon (h_{\theta })}|<\sqrt{\frac{1}{m}\log (\frac{2K}{g})})\le 1-\delta$$

定理：
假设θ^=argminθ ε^(hθ)$\hat{\theta }=argmi{n}_{\theta }\hat{\epsilon }(h_{\theta })$, θ∗=argminθ ε(hθ)${\theta }^{\ast }=argmi{n}_{\theta }\epsilon (h_{\theta })$,则有

P(|ε(hθ^)−ε(hθ∗)|≤2r)>1−δ$$P(|\epsilon (h_{\hat{\theta }})-\epsilon (h_{{\theta }^{\ast }})|\le 2r)>1-\delta$$

P(|ε(hθ^)−ε(hθ∗)|≤1mlog(2Kg)−−−−−−−−−√)≥1−2δ$$P(|\epsilon (h_{\hat{\theta }})-\epsilon (h_{{\theta }^{\ast }})|\le \sqrt{\frac{1}{m}\log (\frac{2K}{g})})\ge 1-2\delta$$

这样，我们就可以得到结论：
- 复杂的模型K大，但是ε(hθ∗)$\epsilon (h_{{\theta }^{\ast }})$、ε(hθ^)$\epsilon (h_{\hat{\theta }})$变小
- 训练样本数m越多越好

补充：

VC维（Vapnik-Chervonenkis维）

衡量θ$\theta$取无限值的分类器负责度
对m个样本任意的标（标签总数2m$2^m$个），都有一个θ$\theta$能把他们分开。满足上述条件的最大的m,叫做hθ$h_{\theta }$的VC维（d=m）。

例子
线性分类器的VC维是d+1$d+1$，假设样本对是(x,y)$(x,y)$,则d是x的维度。

定理：若假设空间H的VC维为d，则有：

P(|ε(hθ)−ε(hθ)^) ≤8dlog2med+8log4δm−−−−−−−−−−−−−−−−√>1−δ$$\begin{array}{rl}P(|\epsilon (h_{\theta })-\widehat{\epsilon (h_{\theta })})& \le \sqrt{\frac{8d\log \frac{2me}{d}+8\log \frac{4}{\delta }}{m}}\\ & >1-\delta \end{array}$$