PS：本文只是自学笔记
一、引子
梯度下降法是最基本、最常用的优化方法之一，为了便于理解，常规性运用烂大街的例子——下山问题。
假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。
二、数学原理推导
一阶泰勒展开式
相关文章：
相似解决方案
热门标签
PS：本文只是自学笔记
假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。
一阶泰勒展开式
相关文章：