论文《深度学习需要重新思考泛化》

【问题标题】：Paper " Deep learning requires rethinking generalization"论文《深度学习需要重新思考泛化》
【发布时间】：2017-07-11 23:59:33
【问题描述】：

我正在阅读这篇论文Understanding Deep learning requires rethinking generalization，但我不明白为什么它在第 5 页的第 2.2 节含义下说，界限是微不足道的 Redemacher 复杂性？

由于我们的随机化测试表明，许多神经网络可以完美地拟合带有随机标签的训练集，我们预计相应模型类 H 的 Rad(H)=1。当然，这是一个微不足道的上限Rademacher 复杂度在现实设置中不会导致有用的泛化界限。

显然我缺少一些关于 Radmacher 的知识，因为我无法理解他们是如何得出这个结论的。如果有人能给我解释一下，我将非常感激

【问题讨论】：

【解决方案1】：

在论文中，函数 h 以 1 为界，因此 Rademacher 复杂度以 1 为界（您将 n 项相加等于 1 并除以 n）。

【讨论】：

我会一步一步来检查我是否真的理解 1）根据论文，根据研究，所有网络都能够训练到 0 训练错误。 2) Rademacher 复杂度正在检查它们是否能够拟合带有随机标签的训练集 3) 如果是，那么它给出 1，因为在所有情况下它都会管理我们有一个 n*1 的总和，然后除以 n . 4）我们得到一个结果 1 5）它被认为是微不足道的，因为正如你在论文中所说，函数的边界是 1。我在论文中找不到这个边界！？
是的，就是这样。 h 以 1 为界，因为它表示 x_i 具有标签 1 的概率（这是一种常用符号）