Course5-Training versus Testing

一、Recap and Preview(回顾和预览)

Course5-Training versus TestingCourse5-Training versus Testing

Course5-Training versus TestingCourse5-Training versus Testing

Course5-Training versus TestingCourse5-Training versus Testing

Course5-Training versus Testing

2、问题

Course5-Training versus Testing

二、Effective Number of Line(有效线路数)

Course5-Training versus Testing

Course5-Training versus Testing

也就是说 union bound被估计过高了(over­estimating 。所以,我们的目的是找出不
BAD events 之间的重叠部分,也就是将无数个 hypothesis 分成有限个类别。
如何将无数个 hypothesis 分成有限类呢?我们先来看这样一个例子,假如平面上用直
线将点分开,也就跟 PLA 一样。如果平面上只有一个点 x1 ,那么直线的种类有两种:
一种将 x1 划为 +1 ,一种将 x1 划为 ­1
Course5-Training versus Testing
如果平面上有两个点 x1 x2 ,那么直线的种类共 4 种: x1 x2 都为 +1 x1 x2
­1 x1 +1 x2 ­1 x1 ­1 x2 +1
Course5-Training versus Testing
如果平面上有三个点 x1 x2 x3 ,那么直线的种类共 8 种:
Course5-Training versus Testing
但是,在三个点的情况下,也会出现不能用一条直线划分的情况
Course5-Training versus Testing
也就是说,对于平面上三个点,不能保证所有的 8 个类别都能被一条直线划分。那如果
是四个点 x1 x2 x3 x4 ,我们发现,平面上找不到一条直线能将四个点组成的 16
类别完全分开,最多只能分开其中的 14 类,即直线最多只有 14 种:
Course5-Training versus Testing
 
Course5-Training versus Testing
Course5-Training versus Testing
2、问题:
Course5-Training versus Testing
三、 Effective Number of Hypotheses(有效Hypotheses数量)
 
Course5-Training versus Testing
Course5-Training versus Testing
Course5-Training versus Testing
Course5-Training versus TestingCourse5-Training versus Testing

Course5-Training versus Testing

接下来,我们讨论如何计算成长函数。先看一个简单情况,一维的 Positive Rays
Course5-Training versus Testing
另一种情况是一维的 Positive Intervals

 

Course5-Training versus Testing

它的成长函数可以由下面推导得出:
Course5-Training versus Testing
n+1中选2个,之后加1个是全x的
Course5-Training versus Testing
Course5-Training versus Testing
Course5-Training versus TestingCourse5-Training versus Testing
Course5-Training versus Testing
n个点中每个点有两种选择正和负,所以n次
2、问题
Course5-Training versus Testing
就是利用直线分成两部分,如第一种,但不区分左右方向是正是负
四、 Break Point
上一小节,我们介绍了四种不同的成长函数,分别是:
 
Course5-Training versus Testing
Course5-Training versus Testing
Course5-Training versus Testing
Course5-Training versus Testing
2、问题
Course5-Training versus Testing
五、总结
Course5-Training versus Testing
Course5-Training versus Testing
 
 

相关文章: