Introduction
关于 鞍点 的定义：
[1]：
鞍点附近的某些点比鞍点有更大的代价，而其他点则有更小的代价。
[2]：
一个不是局部极值点的驻点称为鞍点。
Note:
- 驻点：一阶导数为0；
- 拐点：二阶导数为0。
Example
单变量函数：
鞍点处的一阶导为0，二阶导换正负号。
多变量函数：
鞍点处，在某些方向上是峰顶，在其他方向上是谷底。
Note:
- 在高维空间中，局部最优很罕见，鞍点很常见 (在低维空间中则相反)；
- 对于模型而言，它并不知道自己究竟走到的是驻点还是局部最优点。所幸的是我们常用带动量的SGD。
[1] Deep Learning
[2] 维基百科-鞍点