Coursera - 机器学习基石 - 课程笔记 - Week 7

The VC Dimension

Definition of VC Dimension

• 可以学习的情形：
  • $m_{\mathcal H}(N)$mH​(N)在$k$k处为突破点（好的假设集$\mathcal H$H）
  • $N$N足够大（好的数据集$\mathcal D$D），（大概率）使得$E_{in}(h) \approx E_{out}(h)$Ein​(h)≈Eout​(h)
  • 有一个算法$\mathcal A$A，能够选择一个有较小$E_{in}(h)$Ein​(h)的模式$g$g（好的算法$\mathcal A$A）
  • （大概率）可以实现学习
• VC维度：对最大的非突破点的形式化名称，（$d_{vc}=k-1$dvc​=k−1）
• $N \le d_{vc}$N≤dvc​，假设集H可以被N完全分割
• $N \gt d_{vc}$N>dvc​，N是假设集H上的一个突破点
• 当$d_{vc}$dvc​有限时，可以推导出$g$g是能够泛化的（$E_{in}(g) \approx E_{out}(g)$Ein​(g)≈Eout​(g)）
  • 和算法A本身无关
  • 对输入的概率分布无关
  • 和目标函数无关

VC Dimension of Perceptron

• 1D感知器，$d_{vc}$dvc​为2
• 2D感知器，$d_{vc}$dvc​为3
• dD感知器，$d_{vc}$dvc​为d+1（可证）

Physical Intuition of VC Dimension

• 假设集参数$\bold w = (w_0, w_1, \ldots, w_d)$w=(w0​,w1​,…,wd​)创建了自由度
• 假设集的个数$M=|\mathcal H|$M=∣H∣类比了自由度
• 假设集的强度$d_{vc}=d+1$dvc​=d+1决定了有效的二元分类的自由度
• 对M的分析可以等价替换为对$d_{vc}$dvc​的分析
• 选择一个合适的$d_{vc}$dvc​十分重要

Interpreting VC Dimension

• 对VC界限的一种思考：模型复杂度

  • 指定假设坏模式的概率为$\delta=4(2N)^{d_{vc}}\exp(-\frac18\epsilon^2N)$δ=4(2N)dvc​exp(−81​ϵ2N)

  • 那么在概率下，我们可以根据泛化误差（$|E_{out}(g)-E_{in}(g)| \le \sqrt{ \frac 8 N \ln (\frac {4(2N)^{d_{vc}}} {\delta})}$∣Eout​(g)−Ein​(g)∣≤N8​ln(δ4(2N)dvc​​)​）来导出最坏上界：$E_{out}(g) \le E_{in}(g) + \sqrt{ \frac 8 N \ln (\frac {4(2N)^{d_{vc}}} {\delta})}$Eout​(g)≤Ein​(g)+N8​ln(δ4(2N)dvc​​)​

  • 后一项记为$\Omega(N,\mathcal H,\delta)$Ω(N,H,δ)，称为对模式复杂性的惩罚项

  • 

  • 当$d_{vc}$dvc​上升，内误差会下降但模式复杂性会上升

  • 当$d_{vc}$dvc​下降，模式复杂性会下降，但内误差会上升

  • 最佳的（外误差最小）$d_{vc}^\ast$dvc∗​在中间位置

• 另外一个说法：样本复杂度

  • 理论上需要万倍于$d_{vc}$dvc​的数据量
  • 实际上，大约十倍于$d_{vc}$dvc​的数据量可以满足误差要求

• 很宽松

• 在已知$d_{vc}$dvc​的情况下，认知模型有多复杂，并估计需要多少的样本实现学习