5. 机器学习基石-Why can Machine Learn?

Why can Machine Learn?

---

• Why can Machine Learn?
  
  • 1. Preview of Last Chapter
  • 2. VC Bound (Vapnik-Chervonenkis Bound) - A Upper Bound Limitation of Hoeffding Inequity
    
    • 1) Introduction
    • 2) Growth function
    • 3) Different Types of Growth function
      
      • ① Growth Function for Positive Rays
      • ② Growth Function for Positive Interval
      • ③ Growth Function for Convex Sets
    • 4) Break Point of Growth function
    • 5) Bounding Function
      
      • ① Introduction of Bounding Function
      • ② Proof of Bounding Function
    • 6) Vapnik-Chervonenkis (VC) bound
  • 3. The VC Dimension
    
    • 1) Definition of VC Dimension
    • 2) Generalization Error
    • 3) Model Complexity
    • 4) How much Data We need Theoretically and Practically
• Summary
• Reference

这一节我的思路是把老师的第五，六、七节的内容结合起来了，并且思路不完全按照老师的授课来走。

---

1. Preview of Last Chapter

因为这一章的讨论是基于上一章最后一节得到的公式的，所以我们先Recap一下。

上一节中，我们最后得出公式（1）（2）

ρ[BADD]≤2M⋅exp(−2ϵ2N)(1)

ρ[∣Ein(g)−Eout(g)∣>ϵ]≤2M⋅exp(−2ϵ2N)(2)

这里的M是一个有限的数，所以当训练样本 N 越大，那么Bad Data出现的概率越低，Ein≈Eout；如果训练样本 N一定的情况下，M越大，也就是说Hypothesis越多，那样可以供我们用算法 A进行选择的越多，那么越有可能选到一个好的样本，使得 Ein≈0

总结如下表：

-	M很小的时候	M很大的时候	N很小的时候	N很大的时候
Ein(g)≈Eout(g)	Yes，Bad Data的数量也少了	No，Bad Data的数量也多了	Yes，Bad Data出现的概率变小了	No，Bad Data出现的概率变大了
Ein(g)≈0	No，选到低错误率的可能性变小了	Yes，选到低错误率的可能性变大了	没必然联系，样本总数多于少，与错误率无关	没必然联系，样本总数多于少，与错误率无关

从表格中可以看出，M 太大太小都会对机器学习的有效性造成影响，所以我们要进一步缩小M 的取值范围。

问题：怎么缩小M的取值范围

解决方案：在上一节中，我们再推导的过程中使用了联合上限（Union Bound)，造成实际的上限被放大了很多。因为在做集合的或运算的时候，我们单纯的把各个集合加起来，但是却没有减去他们的交集部分，所以造成了上限被放大的问题。

关于Union Bound 的推导可以看这个链接Boole’s inequality

总的来说就是因为我们推导公式（1）的时候使用了Union Bound，所以导致了不等式右边的值（上限）被放大了，所以现在我们可以把它进行缩减，求出有效的 M值(即 MH(N))，下面我们来推导这个有效值。

2. VC Bound (Vapnik-Chervonenkis Bound) - A Upper Bound Limitation of Hoeffding Inequity

1) Introduction

场景：对于不同数量N的训练数据，有多少种不同的方法 effective(N) 可以区分他们？

当 N=1 的时候，如图一所示，共有2种方法，effective(N)=2=21。

图一 N=1 ^[1]

当 N=2 的时候，如图二所示，共有4种方法，effective(N)=4=22。

图二 N=2 ^[1]

当 N=3 的时候，如图三、四所示，最多有8种方法，虽然说在特定的情形下，可能只有6中种方法，effective(N)=8=23。

图三 N=3 with error ^[2]

图四 N=3 ^[1]

当 N=4 的时候，如图五所示，无论怎么放着4个点，最多只有14种方法，effective(N)=14<24。

图五 N=4 ^[1]

当 N=5 的时候，很显然 effective(N)=32<25，就不再继续讨论了。

总结如下表：

N	effctive(N)
1	2=21
2	4=22
3	8=23
4	14<25
5	32<<26
…	…
N	effctive(N)<<2N

总结如图六，可以看出当 N>4的时候，effective(N)<2N，也就是说我们把 M和N 的关系构建了起来，所以我们可以用 effective(N) 去替换 M，得到公式(3)

ρ[∣Ein(g)−Eout(g)∣>ϵ]≤2⋅effective(N)⋅exp(−2ϵ2N)(3)

图六 Summary ^[1]

2) Growth function

上面Binary Clasification的分类方法叫做二分类法（dichotomy)，为了更好地表示 N和effective(N) 的关系，我们引入成长函数（Growth Function) MH(N) 来表示，具体的数学表达如公式（4）所示。

MH(N)=maxx1,x2,...,xN∈X∣H(x1,x2,...,xN)∣(其中，上限为2N)(4)

3) Different Types of Growth function

① Growth Function for Positive Rays

Positive Rays 是用一个一维向量作用于一维坐标上，与该向量同方向的值为+1，反方向为-1
如图七所示，Postives Rays 的成长函数为 MH(N)=(N−1)，当 N≥2的时候，MH(N)<2N=O(N)

图七 Growth Function for Positive Rays ^[2]

② Growth Function for Positive Interval

Positive Interval 是用一个一维“线段”作用于一维坐标上，与在线段里面的值为+1，外面的为-1
如图八所示，Positive Interval 的成长函数为 MH(N)=C2N+1+1=12N2+12N+1，当 N≥3的时候，MH(N)<2N=O(N2)

图八 Growth Function for Positive Interval ^[2]

③ Growth Function for Convex Sets

Convex Sets 不太好理解。可以理解成在二维坐标上，用凸多边形去把所需要的点串起来。在多边形顶点上的点的值为+1，不在的为-1。因为我们讨论的是最大的可能性，所以当我们把所有的点都放在一个圆上的时候，必定存在一个凸多边形可以连接任意多个点（即可以画出任意多边形），然后再把所有点的组合情况加起来
如图九所示，Convex Setsl 的成长函数为 MH(N)=∑i=0NCNi=2N

图九 Growth Function for Convex Sets ^[2]

4) Break Point of Growth function

我们称能满足完全二分类(出现不同种类的数量为2N)的情况为shattered,能shattered的最大的点为突破点(break point)。
然后根据上面对N从1-5的尝试，得到的最大可能性如下表

N	effctive(N)
1	2=21
2	4=22
3	8=23
4	14<25
5	32<<26
…	…
N	effctive(N)<<2N

可以推断出公式（3）

effctive(N):MH(N)≤max(possibleMH(N)Givenbreak−point(K))≤2N(3)

上面关于Growth Function讨论的几种情况的Break Point 如图十所示，我们可以看出成长函数的复杂度与Break Point的大小存在一定的关系。

图十 Break Point of Growth function ^[3]

5) Bounding Function

① Introduction of Bounding Function

根据上一节的Break Point K和样本点 N的关系，我们引入一个新概念，上限函数(Bounding Function) B(N,K)。这个函数表示有N个样本点且成长函数的突破点是K的时候，最多有多少种组合情况，比如说B(3,2)=3（这个比较容易想象，这里就不展开讨论了）。并且这个上限函数满足公式（4），因为这是采用而分类的方法来进行的，最大值为2N。

B(N,K)≤2N(3)

但是显然在上面的例子中，我们可以看到B(N,K)<2N(N≥K)，所以我们下面进一步确定这个上限函数的最大值。

② Proof of Bounding Function

我们下面用表格的方式来表示B(N,K) 表格如下表，我们下面将会填满这个表格来找出相应的规律

B(N,K)	K=1	K=2	K=3	K=4	K=5	K=6	…
N=1							…
N=2							…
N=3							…
N=4							…
N=5							…
N=6							…
…							…

1.根据上面的规律，我们知道在N<K的时候，B(N,K)=2N，所以表格更新如下

B(N,K)	K=1	K=2	K=3	K=4	K=5	K=6	…
N=1		2	2	2	2	2	…
N=2			4	4	4	4	…
N=3				8	8	8	…
N=4					16	16	…
N=5						32	…
N=6							…
…							…

2. 然后当K=1的时候，我们至少有一种分法（全正或者全负），所以第一列全部为1，表格更新如下。

B(N,K)	K=1	K=2	K=3	K=4	K=5	K=6	…
N=1	1	2	2	2	2	2	…
N=2	1		4	4	4	4	…
N=3	1			8	8	8	…
N=4	1				16	16	…
N=5	1					32	…
N=6	1						…
…	1						…

3. 接着，当N=K的时候，我们上面也可以看到，所有的值最大都等于2N−1(因为不能所有情况都出现一次)，所以表格更新如下。

B(N,K)	K=1	K=2	K=3	K=4	K=5	K=6	…
N=1	1	2	2	2	2	2	…
N=2	1	3	4	4	4	4	…
N=3	1		7	8	8	8	…
N=4	1			15	16	16	…
N=5	1				31	32	…
N=6	1					63	…
…	1						…

4. 在之前的章节，我们也数过B(3,2)=4，其实看到这里我们已经大概有一些规律了：下面一项为上面两项之和， B(N,K)=B(N−1,K)+B(N−1,K−1)。当然我们只是猜测，下面我们继续证明。表格更新如下：

B(N,K)	K=1	K=2	K=3	K=4	K=5	K=6	…
N=1	1	2	2	2	2	2	…
N=2	1	3	4	4	4	4	…
N=3	1	4	7	8	8	8	…
N=4	1			15	16	16	…
N=5	1				31	32	…
N=6	1					63	…
…	1						…

5.我们证明上面的猜想B(N,K)=B(N−1,K)+B(N−1,K−1)
1）首先我们遍历B(4,3)，可以得到图十一的结果，然后我们整理了一下结果的顺序，可以发现橙色区域 {x1,x2,x3}结果分别出现了2次，而紫色区域的{x1,x2,x3}结果只出现了1次。

图十一 Reorganized Dichotomies of B(4,3) - 1 ^[4]

2）所以我们单独把{x1,x2,x3}，提出来看，并把橙色区域的个数设为 α，紫色区域的个数为 β，那么原来4个点的情况 B(4,3)=2α+β，而3个点的情况 B(3,3)=α+β，如下图十二所示。

图十一 Reorganized Dichotomies of B(4,3) - 2 ^[4]

3)接着我们单独看 α可以发现这个刚好是 B(3,2) 的最大可能性，也就是说 α≤B(3,2)=4，如图十三所示。

图十一 Reorganized Dichotomies of B(4,3) - 3 ^[4]

4） 根据上面的分析，我们目前得到三个公式，如下面的公式（4）（5）（6）。

B(4,5)=2⋅α+β(4)

α+β≤B(3,3)(5)

α≤B(3,2)(6)

所以把公式(5)(6)加起来，我们可以更新公式（4）为公式（7）

B(4,5)≤2⋅α+β(7)

5）最后我们用同样的方法来研究B(N,K)可以很容易证明到公式（8）（9）（10）

B(N−1,K)≤∑i=0k−1CiN−1(8)

B(N−1,K−1)≤∑i=0k−2CiN−1=∑i=1k−1CiN−1(9)

B(N,K)≤B(N−1,K)+B(N−1,K−1)≤∑i=0k−1CiN−1+∑i=1k−1CiN−1=C0N−1+∑i=1k−1(CiN−1+CiN−1)=1+∑i=1k−1CiN=C0N+∑i=1k−1CiN=∑i=0k−1CiN(10)

所以我们的表格更新如下：

B(N,K)	K=1	K=2	K=3	K=4	K=5	K=6	…
N=1	1	2	2	2	2	2	…
N=2	1	3	4	4	4	4	…
N=3	1	4	7	8	8	8	…
N=4	1	≤5	11	15	16	16	…
N=5	1	≤6	≤16	≤15	31	32	…
N=6	1	≤7	≤22	≤26	≤57	63	…
…	1	…	…	…	…	…	…

我们再把NK−1的表格整理如下：

NN−1	K=1	K=2	K=3	K=4	K=5	K=6	…
N=1	1	1	1	1	1	1	…
N=2	1	2	4	8	8	16	…
N=3	1	3	9	27	27	81	…
N=4	1	4	16	64	64	256	…
N=5	1	5	25	125	125	625	…
N=6	1	6	36	216	216	1296	…
…	…	…	…	…	…	…	…

对比图参考老师上课的PPT，如图十二所示。

图十二 Comparision of B(N,K) and N^(K-1) ^[6]

总结起来就是：在N≥2,K≥3的时候，总有公式（11）的情况。

MH(N)≤B(N,K)=∑i=0K−1≤NK−1(11)

6) Vapnik-Chervonenkis (VC) bound

@TODO: 这一节主要是证明从数学的角度上证明VC Bound 并以此更新Hoeffding Inequity。目前听得失一知半解，所以只贴出结论，后面再补充。

结论如图十三所示。

图十三 Vapnik-Chervonenkis (VC) bound ^[5]

这个VC Bound的作用是把之前Hoeffding的参数 M替换成这里引入的成长函数 MH(N)，并构建出成长函数与样本数量（N）的关系这样的话，我们就可以容易的得到结论：在样本N足够大时候，发生Bad Data的概率小于 epsilon (Ein≈Eout)，可以得出错误率也低(Ein≈0)，说明机器学习是可能的。

也就是说要说机器可以学习必须满足下面的条件：
1. 假设空间的成长函数 MH(N) 存在Break Point K （即有一个好的假设空间H)
2. 输入数据的样本 N 足够大（有一个好的数据集 D）
3. 存在一个算法，能够找出能在假设空间 H 中找到一个值使得错误率 Ein 足够小 （有一个好的算法 A –>也就是我们后面会研究的重点）

其中：条件1和2通过VC Bound保证了 Ein≈Eout，条件3保证了 Ein≈0 ⟹ Machine Can Learn.

---

3. The VC Dimension

1) Definition of VC Dimension

VC Dimension( dvc )指的是能够使得成长函数可以被shatter的最大值（即 Break Point - 1)，用符号表示为公式（12）。

dvc=min(K)−1(12)

上面的Hoeffding Inequity可以变成公式（13）

ρ[∣Ein(g)−Eout(g)∣>ϵ]≤4⋅(2N)dvc⋅exp(−18ϵ2N)(13)

因此，根据这个特点，我们只要确保一个成长函数存在 VC Dimension，我们就可以确定他存在Break Point，是一个好的假设空间。

2) Generalization Error

我们引入泛化误差 δ 表示 Ein(g)和Eout(g) 的接近程度，即 δ=Ein(g)−Eout(g) ，根据公式（13），我们稍作化简，如公式（14）。

δ4(2N)dvcδϵ=4⋅(2N)dvc⋅exp(−18ϵ2N)=exp(18ϵ2N)=8N⋅ln(4(2N)dvcδ)−−−−−−−−−−−−−−√(14)

也就是说 Ein(g)−Eout(g) 的误差会小于等于 8N⋅ln(4(2N)dvcδ)−−−−−−−−−−−−√。 所以我们可以求得 Eout 的范围如公式（15）

Ein(g)−8N⋅ln(4(2N)dvcδ)−−−−−−−−−−−−−−√≤Eout(g)≤Ein(g)+8N⋅ln(4(2N)dvcδ)−−−−−−−−−−−−−−√)(15)

3) Model Complexity

上一节，我们求出了 Ein(g)−Eout(g) 的误差，为了方便引用，我们引入了新的概念：模型复杂度（Model Complexitiy）来表示这个误差值，数学表示如公式（16）

Ω(N,H,δ)=8N⋅ln(4(2N)dvcδ)−−−−−−−−−−−−−−√(15)

可以看出，随着VC Dimension的增大，Ω也会变大，然后 Ein(g) 也会随着VC Dimension的增大而变小（因为选择的假设空间大了），但是 Eout(g) 却不是一个单调函数，因为公式（15），然后这2个值一个变大一个变小，但是最终的话，Eout 的曲线是先下降，然后上升: 遍历一边就可以得到结果了，所以找到 d∗vc 很重要。(因为 Eout 才是我们机器学习最重要的指标）

结果如图十四所示。

图十四 Error and VC dimension ^[6]

4) How much Data We need Theoretically and Practically

问题：假如现在老板给员工下达了一个任务，要求这个模型的 ϵ=0.1，δ=0.1，dvc=3 ，那样的话，我们需要多少个样本 N 才能满足要求呢？
回答：根据上面的公式（14），分别代入参数到等式中，可以求得样本数量 N 如图十五的橙色区域所示。但是实际上，我们只需要 10dvc就足够了。

图十五 How much Data We need Theoretically and Practically ^[6]

因为我们在计算的时候同样的把上限给放大了，放大的原因如下所示:
1. Hoeffding Inequity 不需要知道未知的情况，但是VC Bound可以用于各种分布，各种目标函数(因为 VC Bound的推导是基于不同的N和K)；
2. 在给Binary Classification 强行装上成长函数本身就是一个宽松的上界，但是VC Bound可以用于各种数据样本；
3. 使用二项式 Ndvc 作为成长函数的上界使得约束更加宽松，但是VC Bound可以用于任意具有相同VC维的假设空间；
4. 联合限制（union bound）并不是一定会选择出现不好事情的假设函数，但是VC Bound可以用于任意算法。

---

Summary

1. 我们首先通过回顾上一节的内容，得到结论是根据Hoeffding Inquity: 要使得机器可以学习的条件是 ① Ein≈Eout ② Ein≈0
2. 接着我们讨论了什么情况下才能保证这2个条件满足，进行了讨论，最终我们通过引入① Growth Function ② Break Point ③ VC Bound, VC Dimension 更改Hoeffding Inequity的上限，最终得到我们需要的答案：
   
   • 假设空间的成长函数 MH(N) 存在Break Point K （即有一个好的假设空间 H)
   • 输入数据的样本 N 足够大（有一个好的数据集 D）
   • 存在一个算法，能够找出能在假设空间 H 中找到一个值使得错误率 Ein 足够小 （有一个好的算法 A –>也就是我们后面会研究的重点）
   • 其中：条件1和2通过VC Bound保证了 Ein≈Eout，条件3保证了 Ein≈0 ⟹ Machine Can Learn.
3. 之后我们讨论了理论上 N≈10000dvc 而实际上只需要 N≈10dvc 的能使得 Eout 最小，并且分析了为什么理论上和实际上差别这么大

---

Reference

[1]机器学习基石(台湾大学-林轩田)\5\5 - 2 - Effective Number of Lines (15-26)

[2]机器学习基石(台湾大学-林轩田)\5\5 - 3 - Effective Number of Hypotheses (16-17)

[3]机器学习基石(台湾大学-林轩田)\5\5 - 4 - Break Point (07-44)

[4]机器学习基石(台湾大学-林轩田)\6\6 - 3 - Bounding Function- Inductive Cases (14-47)

[5]机器学习基石(台湾大学-林轩田)\6\6 - 4 - A Pictorial Proof (16-01)

[6]机器学习基石(台湾大学-林轩田)\7\7 - 4 - Interpreting VC Dimension (17-13)