VC Dimension 和 PAC 学习

Question

有人可以用一个例子来解释 VC 维度和 PAC 学习的概念吗？我在网上看到了一些内容，但实际上无法与一个很好的例子联系起来。

Answer 1

它们是相互关联的不同概念。我将尝试解释这两个术语并简明扼要地展示它们的关系：

PAC 学习 是 Leslie Valiant 于 1984 年开发的一个理论框架，旨在将复杂性理论的思想引入学习问题。在复杂性理论中，您希望通过计算量（步数）对决策问题进行分类，而在 PAC 模型中，您希望通过计算范围和所需样本数量的范围对概念类（任务）进行分类，给定对误差的一些容忍度，epsilon 和置信水平，1-delta。 PAC 学习为绝对误差提供保证，假设您的假设（学习函数）与概念（目标函数，您的任务）有多大不同，因为您只能测量您的经验误差，即您从训练样本中获得的误差.

VC 维度（以 Vapnik 和 Chervonenkis 命名）是一个数字，表示特定假设类（学习算法）的复杂性。例如，感知器假设类比多层感知器简单；因此，它具有较小的 VC 维度。

在几个 PAC 定理中，您将度量假设类的大小，度量其容量或复杂性，作为术语之一。 VC维度可以作为一个数字来表示这个大小。

我建议您查看 Mohri 的“机器学习基础”，了解 PAC 学习的一个很好的例子（第一章有一个很好的例子）。

附：我想这个问题在 StackOverflow 的范围内不是很大。对于此类问题，您在 CrossValidated 中可能会有更好的回答。