切点处的解是最优解吗？答案

【问题标题】：Is the solution at tangent point an optimal solution?切点处的解是最优解吗？
【发布时间】：2018-06-16 04:30:39
【问题描述】：

据我从this 文章中了解到，蓝色圆圈是水平曲线，蓝点是最小化成本函数的最优解。黄色圆圈是 L2 范数约束。

我们需要的解决方案是尽可能地最小化成本函数并且同时在循环内。意思是，解是黄色圆圈和水平曲线的切点。

但是，我的问题是，如果切点处的 W 值没有完全最小化成本函数，这怎么可能是解决方案？只有蓝点是最小化成本函数的点。

【问题讨论】：

【解决方案1】：

如果没有约束，蓝点会最小化成本函数。如果最小化受到 L2 范数的约束，则蓝点不能是解，因为它违反了约束。因此，点 w* 是解。

使用 L2 约束的原因是我们试图最小化测试数据上的误差，而不是训练数据上的误差（即，我们不直接对最小化损失函数感兴趣）。更简单的解决方案（具有更小的 L2 范数）往往过拟合更少，因此我们期望测试和训练误差之间的差距更小（这是可取的）。

【讨论】：