神经网络属于梯度下降法中的一个，会涉及到数学中求导求微分，但不会涉及太深；
初学神经网络会遇到一个cost方程，以下图展示的是cost方程的过程，但该过程在数学中并不成立，这样化简只是为了更好地理解，画出误差曲线：
从图中可以看出，cost误差最小的时候正是cost曲线最低的地方；照蓝色梯度线的方向继续下降，当线躺平，找不到下降的方向，这时找到w参数的最理想值，简而言之，找到了梯度躺平的点；但是神经网络并不是这么简单，w不止只有一个，如w有两个，可以只用三D图像来展示：
在通常的神经网络中，误差曲线并没有这么优雅；不同的w初始化的位置带来不同的下降区域，不同的下降区域又会带来不同的w的解，全局最优解固然重要，但我们的手中大多都是局部最优解，所以用局部最优也可以完成任务。
相关文章：