机器学习基石-05-1-Recap and Preview

两个中心问题two central questions

机器学习基石-05-1-Recap and Preview

可以将learning拆成两个问题:

1.Ein(g)和Eout(g)是否很接近;

2.怎样才能使得Ein(g)变得越小越好?

机器学习基石-05-1-Recap and Preview机器学习基石-05-1-Recap and Preview

那么H假定集的大小M对于上面的两个问题有什么影响呢?

机器学习基石-05-1-Recap and Preview

bad things就是Ein(g)和Eout(g)差别特别大far away;

当M很小时,就说明发生坏事情的概率很小;但是此时可选择的H比较少。

当M很大时,就说明发生坏事情的概率很大;此时可选择的H比较多。

所以M的选择是很重要的!!

那么当M无穷大时,就无法满足uniform bound的不等式

机器学习基石-05-1-Recap and Preview

机器学习基石-05-1-Recap and Preview

为什么当M无穷大时就无法进行呢?因为此时的B1,B2,B3……有很大程度的重叠overlapping,overlapping for similar hypotheses h1和h2很接近。所以使用union bound就会高估了overestimating,上面的不等式并没有考虑到重叠的影响。

机器学习基石-05-1-Recap and Preview

机器学习基石-05-1-Recap and Preview

所以要想方法找出这些“坏事情”的重叠部分:第一步,把无限多个H分成有限的类,分类好以后的类相似。

那么要怎样把它分成一类一类的呢?How many lines are there?

1.对于input vector x来说,只有两条线。其中一条线把x1划分到圆圈,另一条线把x1划分到叉叉。

机器学习基石-05-1-Recap and Preview

2.那么对于两个x1和x2呢?

机器学习基石-05-1-Recap and Preview

3.那么当inputs为x1,x2,x3时是怎样的?


机器学习基石-05-1-Recap and Preview

当有三个输入变量时,最多有8条线。当时当x1,x2,x3在一条直线上时,就有两条线是无法实现的!所以这种情侣下只有6条线,所以当有三个输入变量时,最多最多只有8条。

机器学习基石-05-1-Recap and Preview

4.那么输入变量有四个x1,x2,x3,x4时是怎样的?

机器学习基石-05-1-Recap and Preview

右边的图示对应另外8个分割的情况,有两个情况是无法实现的,所以最多最多只有16-2=14条线。


Effective Number of Lines

机器学习基石-05-1-Recap and Preview

effective number of lines就是“有效的线”的最大值。

补充:当有5个输入变量x1,x2,x3,x4,x5时,effective number of lines=22

机器学习基石-05-1-Recap and Preview

希望可以找到一个东西来代替M,使他变成有限的。

上面的所有操作就是想用Effective(N)来代替M!!但是具体是否可行还需要后续的证明。



相关文章:

  • 2021-12-25
  • 2022-12-23
  • 2022-12-23
  • 2022-01-11
  • 2021-06-11
  • 2021-09-23
  • 2021-06-29
  • 2021-11-24
猜你喜欢
  • 2021-09-22
  • 2021-06-07
  • 2021-04-24
  • 2021-12-12
  • 2021-05-15
  • 2021-12-07
  • 2021-11-08
相关资源
相似解决方案