①在高维空间中，如2000维，不太可能出现局部最优的情况，因为局部最优要求这20000个维度的梯度都为0，这是很小概率的时间。 ②真正困扰优化问题的并不是局部最优，而是在鞍点附近的停滞区问题。 如下图，鞍点并不是全局最优，但梯度下降会在鞍点附近花费很多时间，先降到鞍点，在鞍点附近受到扰动在降到其他地方。故采用动量，adam，RMSprop等方法来加快停滞区的训练 相关文章： 2021-12-13 2021-12-19 2021-06-27 2021-07-13 2021-03-31 2022-01-16 2022-12-23 2022-12-23