林轩田机器学习基石笔记（第27节）——VC Dimension of Perceptrons

一、复习2D PLA算法

如下图所示，左边红色部分表示如果数据集D$D$是线性可分的情况下，PLA算法最终会停下来，我们会得到一条能够把所有数据都二分为两类的线段，该线段能够保证在已知的数据上犯错的概率为0，即Ein(g)=0$E_{in}(g)=0$。
图中右边部分，则通过霍夫丁不等式从侧面证明了如果我们数据量够大，并且dVC$d_{VC}$已知的情况下，我们可以保证Ein(g)≈Eout(g)$E_{in}(g)\approx E_{out}(g)$。
左边和右边相互结合起来，我们推出了Eout≈0$E_{out}\approx 0$。这正是我们前面所有课程苦苦证明的结果。

二、d维度二元分类的VC Dimension会不会是dVC=d+1$d_{VC}=d+1$?

我们已经知道1D Perceptrons的dVC=2$d_{VC}=2$，2D Perceptrons的dVC=3$d_{VC}=3$，那么d维Perceptrons的VC Dimension是多少呢？如下图：

观察1D和2D，我们发现dVC$d_{VC}$似乎总是等于维数d加1，即dVC=d+1$d_{VC}=d+1$。那么是否这就意味着所有的VC Dimension都是如此呢？沿着这一猜想，我们只需要证明d+1≤dVC≤d+1$d+1\le d_{VC}\le d+1$就可以间接证明dVC=d+1$d_{VC}=d+1$。

在进入正式的证明之前，我们先来复习一下矩阵的相关知识，因为接下来要用到。

这一节接下来的内容都是证明d维上的VC Dimension都是d+1$d+1$，具体的证明过程我不甚了解，我这边只要记录结果就好了，以后有机会再回来看吧，要不然要卡在这里无法继续往下学习了，实在是太难。

===========================懵逼分割线===========================

欢迎大家加入Q群讨论：463255841

===========================懵逼分割线===========================