1、Adagrad
Adagrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。
公式如下：
2、Stochastic Gradient Descent(SGD:随机梯度下降)
如果使用梯度下降法(批量梯度下降法)，那么每次迭代过程中都要对个样本进行求梯度，所以开销非常大，随机梯度下降的思想就是随机采样一个样本来更新参数，那么计算开销就下降了
3、Feature Scaling（特征缩放）-- 使下降加快
当特征值有相似的范围的话梯度下降会比较快
具体做法：