结构风险最小化和支持向量机

Question

我知道什么是 SRM，但我不了解 SRM 和 SVM 之间的关系。谁能给我解释一下？为什么他们说 SVM 依赖于 SRM 方法？ 非常感谢！

Answer 1

结构风险最小化是 Vapnik 的学习概念，在概念上类似于其他“最小假设方法”。简而言之，大多数学习算法（在分类中）试图找到一些从输入空间到类的映射，这种映射在训练集上表现得“很好”（返回正确的答案）。然而，这是一种已知现象，这不足以建立一个好的模型，因为例如可以记住所有训练示例并拥有一个训练错误为 0 的模型。但是，它会在新示例（看不见的观察）上表现不佳。结构风险最小化可以概括如下：“要找到一个好的分类器，请选择最简单的分类器来最小化训练错误”。换句话说 - 简单 模型优于复杂模型。由于后者对“凭空”的数据做出了更多假设（没有实际的训练数据来支持这种复杂性）。 Vapnik 证明，分类器的复杂性（用所谓的“Vapnik-Chervonenkis 维度”衡量）与它们在看不见的数据（测试点）上表现良好的能力之间存在密切的关系。这个 VC 维度（粗略地说）衡量给定分类器中的一组点有多大，可以完美地分类所有可能的标签。

“风险”的概念只是“在未来”做出错误决定的概率（当我们的模型对新的、看不见的点进行分类时）。而“结构”概念是模型的复杂性、对复杂模式的适应性的名称。

SVM 与这个概念有什么关系？通过利润最大化。看起来（并且可以严格证明）margin 的最大化减少了 VC 维度，因此我们在margin 最大化时寻找更简单和更简单的模型。