一、Recap and Preview(回顾和预览)
2、问题
二、Effective Number of Line(有效线路数)
也就是说
union bound被估计过高了(overestimating
)。所以,我们的目的是找出不
同
BAD events
之间的重叠部分,也就是将无数个
hypothesis
分成有限个类别。
如何将无数个
hypothesis
分成有限类呢?我们先来看这样一个例子,假如平面上用直
线将点分开,也就跟
PLA
一样。如果平面上只有一个点
x1
,那么直线的种类有两种:
一种将
x1
划为
+1
,一种将
x1
划为
1
:
如果平面上有两个点
x1
、
x2
,那么直线的种类共
4
种:
x1
、
x2
都为
+1
,
x1
、
x2
都
为
1
,
x1
为
+1
且
x2
为
1
,
x1
为
1
且
x2
为
+1
:
如果平面上有三个点
x1
、
x2
、
x3
,那么直线的种类共
8
种:
但是,在三个点的情况下,也会出现不能用一条直线划分的情况
也就是说,对于平面上三个点,不能保证所有的
8
个类别都能被一条直线划分。那如果
是四个点
x1
、
x2
、
x3
、
x4
,我们发现,平面上找不到一条直线能将四个点组成的
16
个
类别完全分开,最多只能分开其中的
14
类,即直线最多只有
14
种:
2、问题:
三、
Effective Number of Hypotheses(有效Hypotheses数量)
接下来,我们讨论如何计算成长函数。先看一个简单情况,一维的
Positive Rays
:
另一种情况是一维的
Positive Intervals
:
它的成长函数可以由下面推导得出:
n+1中选2个,之后加1个是全x的
n个点中每个点有两种选择正和负,所以n次
2、问题
就是利用直线分成两部分,如第一种,但不区分左右方向是正是负
四、
Break Point
上一小节,我们介绍了四种不同的成长函数,分别是:
2、问题
五、总结