【林轩田】机器学习基石（六）——泛化理论

ppt
video

Lecture 6: Theory of Generalization

6.1 Restriction of Break Point 断点的限制

这一小节提出了一个问题，当我们最小的断点k=2$k=2$，时，我们能推出什么？

• N=1时，x1$x_1$是圈、叉都可以，这样有mH(1)=2$m_H(1)=2$
• N=2时，注意到k=2$k=2$是断点，所以mH(2)≤22=4$m_H(2)\le 2^2=4$，mH(2)$m_H(2)$最大为3
• N=3时，注意到k=2$k=2$是断点，所以x1,x2,x3$x_1,x_2,x_3$中的任两个点都是不能shatter的，林教授以图示的方式说明了，在任两个点都不能shatter的情况下，mH(3)$m_H(3)$最大为4
• 

注意到，这里mH()3$m_H()3$已经远小于23$2^3$了。
即，当N>k$N>k$时，断点k$k$可以极大地限制mH(N)$m_H(N)$的增长。

更进一步，如果上图成立，哈哈，霍夫丁不等式的右边就会接近0，我们无限M$M$的学习可行性也就被论证了。

6.2 Bounding Function: Basic Cases 上界函数(基本案例)

我们这里给出一个新的定义，叫做上界函数，B(N,k)$B(N,k)$，它有两个参数,N$N$和k$k$，它的含义是：在断点为k$k$时，mH(N)$m_H(N)$的最大可能值。

• 通过这个上界函数，我们隐藏了H$H$的细节，也就是不论我们的假设函数h$h$是什么，只要N$N$和k$k$定了，mH(N)$m_H(N)$的上界就不会变。

• 它的组合数量解释如下：一个最大长度为N的向量，每个维度有圈和叉两个值，这个向量的任意长度为k的子向量都不shatter，求问这样的向量最多一共多少个？

  这样的话，我们的新目标就是下面的不等式：
  
  林教授给出了一个表格来显示Bounding Function
  

我们把这个表分为了几块

• 标号为1这个块，当k=1$k=1$时，B(N,1)=1$B(N,1)=1$
• 标号为2这个块，当N<k$N<k$时，B(N,k)=2N$B(N,k)=2^N$
• 标号为3这个块，当N=k$N=k$时，B(N,k)=2N−1$B(N,k)=2^N-1$
• 标号为4这个块是最重要的，我们填了一个值，就是B(3,2)=4$B(3,2)=4$，这是我们上一节课计算得到的。

6.3 Bounding Function： Inductive Cases 归纳案例

• 接下来我们考虑图片中B(4,3)$B(4,3)$的值。
• 首先，我们使用计算机穷举，得到B(4,3)$B(4,3)$的所有结果，一共有11种。
• 我们将B(4,3)$B(4,3)$的所有二分重新排列一下，得到如下:
  

可以看到，橘色的都是成双成对的，橘色的x1,x2,x3$x_1,x_2,x_3$每对都一样，紫色的是形单影只的。

令

B(4,3)=11=2∗α+β$$B(4,3)=11=2\ast \alpha +\beta$$

可以看到图中左式的α+β$\alpha +\beta$就是x1,x2,x3$x_1,x_2,x_3$3个点不shatter的结果，一共有7种，
即

α+β≤B(3,3)$$\alpha +\beta \le B(3,3)$$

因为还有x4$x_4$的存在，为了避免x1,x2,x3$x_1,x_2,x_3$中的任两个与x4$x_4$shatter了，/alpha$/alpha$中的任两个也不能shatter。
所以

α≤B(3,2)$$\alpha \le B(3,2)$$

所以，加起来，

B(4,3)≤B(3,3)+B(3,2)$$B(4,3)\le B(3,3)+B(3,2)$$

推断一下，就发现了如下规律：

整理一下，规律如下：

这样就可以证明，在存在固定断点k$k$的情况下，B(N,k)$B(N,k)$的上限是多项式形式的！！

6.4 A Pictorial Proof 图示法证明

最开始，我们根据霍夫丁不等式，给出的期望坏事情概率上界为

P[|Eout(g)−Ein(g)|>ϵ]≤2∗M∗exp(−2∗N∗ϵ2)$$P[|E_{out}(g)-E_{in}(g)|>ϵ]\le 2\ast M\ast exp(-2\ast N\ast {ϵ}^2)$$

因为M$M$可能是无限大的，这样右边界就求不出来了，求不出来，我们机器学习的可行性也就无法证明；
所以，我们用了一些手段，以有限的种类，代替无限的数量，将不等式变成了

P[|Eout(g)−Ein(g)|>ϵ]≤2∗mH∗exp(−2∗N∗ϵ2)$$P[|E_{out}(g)-E_{in}(g)|>ϵ]\le 2\ast m_H\ast exp(-2\ast N\ast {ϵ}^2)$$

这里，mH$m_H$是某个有界的值。又经过一些推导，我们发现mH$m_H$和样本数量N$N$还有断点k$k$的值有关。

• 当不存在断点时，mH(N)=2N$m_H(N)=2^N$
• 当存在断点k时，mH(N)=O(Nk−1)$m_H(N)=O(N^{k-1})$

但是，虽然我们最终希望得到的不等式是这样的：

P[∃h∈H,s.t.|Eout(h)−Ein(h)|>ϵ]≤2∗mH(N)∗exp(−2∗N∗ϵ2)$$P[\mathrm{\exists }h\in H,s.t.|E_{out}(h)-E_{in}(h)|>ϵ]\le 2\ast m_H(N)\ast exp(-2\ast N\ast {ϵ}^2)$$

实际上，当N$N$足够大时，经过计算后，不等式却是这样的

P[∃h∈H,s.t.|Eout(h)−Ein(h)|>ϵ]≤2∗2mH(2N)∗exp(−2∗116∗N∗ϵ2)$$P[\mathrm{\exists }h\in H,s.t.|E_{out}(h)-E_{in}(h)|>ϵ]\le 2\ast 2m_H(2N)\ast exp(-2\ast \frac{1}{16}\ast N\ast {ϵ}^2)$$

接下来，我们来证明上式。

第一步，使用E′in$E_{in}^{{}^{\prime }}$代替Eout$E_{out}$

• 注意到Ein(h)$E_{in}(h)$是有限多的，Eout(h)$E_{out}(h)$是无限多的。
• 我们需要替换掉无限多的Eout$E_{out}$，方法是我们假设在新的数据D′$D^{\prime }$上得到E‘in$E_{in}^{‘}$。因为我们的Eout$E_{out}$是完整的分布，Ein$E_{in}$和Eout$E_{out}$若相差甚远，有一半的概率E‘in$E_{in}^{‘}$和Ein$E_{in}$也是相差甚远的。
  所以我们可以得到下式：
  

所以

P[∃h∈Hs.t.|Ein(h)−Eout(h)|>ϵ]≤$$P[\mathrm{\exists }h\in Hs.t.|E_{in}(h)-E_{out}(h)|>ϵ]\le$$

2∗P[∃h∈Hs.t.|Ein(h)−E′in(h)|>ϵ2]$$2\ast P[\mathrm{\exists }h\in Hs.t.|E_{in}(h)-E_{in}^{{}^{\prime }}(h)|>\frac{ϵ}{2}]$$

第二步：按种类分解H$H$

• 我们知道Ein$E_{in}$最多有mH(N)$m_H(N)$种假设函数，E′in$E_{in}^{{}^{\prime }}$最多也有mH(N)$m_H(N)$种假设函数。

• 因为D和D′$D和D^{{}^{\prime }}$样本可能重叠，所以Ein和E′in$E_{in}和E_{in}^{{}^{\prime }}$最多有mH(2N)$m_H(2N)$种假设函数

BAD≤2∗P[∃h∈Hs.t.|Ein(h)−E′in(h)|>ϵ2]$$BAD\le 2\ast P[\mathrm{\exists }h\in Hs.t.|E_{in}(h)-E_{in}^{{}^{\prime }}(h)|>\frac{ϵ}{2}]$$

因为我们一个h$h$出现BAD$BAD$的几率是上式，使用unionbound$unionbound$联结假设空间H$H$中所有出现BAD$BAD$的几率

BAD≤2∗mH(N)∗P[fixed h s.t.|Ein(h)−E′in(h)|>ϵ2]$$BAD\le 2\ast m_H(N)\ast P[fixedhs.t.|E_{in}(h)-E_{in}^{{}^{\prime }}(h)|>\frac{ϵ}{2}]$$

使用无替代的霍夫丁不等式

|Ein−E′in|>ϵ2⟺|Ein−E′in|2>ϵ4$$|E_{in}-E_{in}^{{}^{\prime }}|>\frac{ϵ}{2}⟺\frac{|E_{in}-E_{in}^{{}^{\prime }}|}{2}>\frac{ϵ}{4}$$

⟺|Ein−Ein+E′in2|>ϵ4$$⟺|E_{in}-\frac{E_{in}+E_{in}^{{}^{\prime }}}{2}|>\frac{ϵ}{4}$$

上述的证明，其实我充满了疑问，但是总之，证明来证明去，我们得到了一个非常有用的东东！！

最终，我们论证了二维平面，感知器学习的可行性！