TensorFlow - GradientDescentOptimizer - 我们真的找到全局最优了吗？

Question

我玩 tensorflow 有一段时间了，我有更多的理论问题。一般来说，当我们训练一个网络时，我们通常使用 GradientDescentOptimizer（可能是它的变体，如 adagrad 或 adam）来最小化损失函数。一般来说，看起来我们正在尝试调整权重和偏差，以便我们获得这个损失函数的全局最小值。但问题是，如果你绘制它，我假设这个函数看起来非常复杂，有很多局部最优值。我想知道的是，我们如何确保梯度下降找到全局最优，并且我们不会立即陷入某个远离全局最优的局部最优？

我记得，例如，当您在 sklearn 中执行聚类时，它通常会多次运行聚类算法并随机初始化聚类中心，这样做可以确保我们不会陷入非最佳结果。但是我们在 tensorflow 中训练 ANN 时并没有这样做——我们从一些随机权重开始，然后沿着函数的斜率行进。

那么，对此有什么见解吗？为什么我们可以或多或少地确定一旦损失停止显着减少，通过梯度下降的训练结果接近全局最小值？

澄清一下，为什么我想知道这个问题是，如果我们不能确定我们至少接近全局最小值，我们就不能轻易判断 2 个不同模型中的哪一个实际上更好。因为我们可以进行实验，得到一些模型评估，表明模型不好......但实际上它只是在训练开始后不久就停留在局部最小值。而其他对我们来说似乎更好的模型只是更幸运地从更好的起点开始训练并且没有快速陷入局部最小值。此外，这个问题意味着我们甚至不能确定我们可以从我们目前正在测试的网络架构中获得最大的收益。例如，它可能具有非常好的全局最小值，但很难找到它，而且我们大多陷入局部最小值的糟糕解决方案，这将远离全局最优值，并且永远看不到手头网络的全部潜力。

Answer 1

梯度下降，就其本质而言，是在局部观察函数（局部梯度）。因此，绝对不能保证它将是全球最小值。事实上，除非函数是凸的，否则它可能不会。这也是类似 GD 的方法对您开始的初始位置敏感的原因。话虽如此，最近有一篇论文说，在高维解空间中，最大值/最小值的数量并不像以前想象的那么多。

以合理的方式在高维空间中找到全局最小值似乎是一个非常未解决的问题。但是，您可能希望更多地关注鞍点，而不是最小值。例如看这篇文章：

High level description for saddle point problem

更详细的论文在这里 (https://arxiv.org/pdf/1406.2572.pdf)

Answer 2

你的直觉是对的。神经网络等复杂模型通常应用于高维输入的问题，其中误差面具有非常复杂的格局。

神经网络不能保证找到全局最优值，陷入局部最小值是很多研究都集中关注的问题。如果您有兴趣了解更多相关信息，最好查看 online learning 和 momentum 等技术，这些技术传统上用于避免局部最小值问题。然而，这些技术本身带来了更多的困难，例如某些优化技术无法集成在线学习，并且在反向传播算法中添加动量超参数会给训练带来更多困难。

可以在here 找到一个非常好的视频，用于可视化反向传播期间动量的影响（以及它如何克服局部最小值）。

在问题编辑后添加 - 请参阅 cmets

正是上述神经网络所应用问题的性质意味着我们通常无法找到全局最优解，因为（在一般情况下）使用经典计算遍历整个搜索空间以找到最优解是难以处理的技术（量子计算机可能会因某些问题而改变这一点）。因此，神经网络经过训练可以实现“良好”的局部最优。

如果您有兴趣阅读有关用于寻找良好局部最优值（即近似全局解决方案）的技术的更多详细信息，那么可以阅读一篇好论文 this

Answer 3

没有。梯度下降法有助于找出局部最小值。如果全局最小值和局部最小值相同，那么只有我们得到实际结果，即全局最小值。