Gradient Descent 的技巧
下图是对偏微分的书写形式的补充说明，可以用倒三角来表示偏微分组成的向量，也就是梯度。所以下图左侧的式子可以写成下图右侧的式子。这种使用某一字符代表向量的写法可以大大简化书写，倒三角表示偏微分向量也能够简化书写。
Tip 1: Tuning your learning rates
第一个技巧也就是改变 learning rates 的速率。可以预见的是过小的 learning rates 会让参数收敛的十分缓慢，过大的 learning rates 会让参数无法收敛或是说出现震荡现象。所以一个合理的想法就是我们应该去调整 learning rates。
以下图片描述的想法是，一开始我们应该让 learning rates 较大，为了快速收敛，但一段时间后为了不出现震荡，我们应该缩小 learning rates，所以就有了下图的 η/sqr（t+1），其中 t 是指迭代的次数。
但是这仅仅是一种十分简单粗暴的方法，肯定是不太能适用于一般情况。所以我们考虑给每个不同的参数不同的 learning rates 。
在下图中可以看到，为了让learning rates 有合适的变化，我们采用了一种叫Adagrad 的方式，其中η是与时间有关的（公式在下图上侧），g 就是偏微分，而σ与前 t 个参数相关，是前 t 个参数的均值平方根，σ 的具体计算方法在下一页PPT中给出。
下图以每次迭代的w的值为例，展示了具体如何计算 σ。
并且，式子中的sqr（t+1）可以消去，所以公式如下：
显然，AdaGrad 的方法可以根据每个参数历次的微分值来调整learning rates的大小，使得学习速率更加合理。
最后，为何要这样设置 learning rates的值呢？是根据下图右上方的公式来的：最佳的步长是一次微分的绝对值除以二次微分的值，而二次微分的可以用一次微分的均值平方根来近似（根据下图而做出的合理推测。二次微分的大小是一次微分的斜率，而一次微分的斜率可以用一次微分的大小来估计，至少在下图中是这样的）。
Tip 2: Stochastic Gradient Descent（随机梯度下降）
下图展示了一般梯度下降和随机梯度下降的区别：
①一般的梯度下降，公式中包含了所有的 n 个训练数据，所以在求一趟微分的时候使用了所有的数据；而随机梯度下降，公式如下所示，它只是使用了n个训练数据中的一个。
②这两种公式的区别首先是速度，当一般方式使用完所有数据的时候，随机下降的方式已将所有数据都用了一次，也就是已经递归了 n 次。也就是说，在一般方式观察了n个数据并且递归了一次的时候，随机方式就可以使用n个数据进行n次递归。
③根据下一张图可以发现，随机下降的方式收敛的方向不是特别稳定，但是即使是这种不太稳定的趋近方式，也可以很好地逼近最佳值（毕竟人家都迭代了20次了对吧），在同样的时间内收敛的效果反而要优于一般的下降方式。
Tip 3: Feature Scaling（特征缩放，特征归一化）
Feature Scaling 的方式可以显著地提升收敛的效率（见下图）。缩放后，可以让每次迭代都向着圆心（最小值）前进，这是椭圆无法做到的（当然此处只考虑了二维的情况）。
下图展示了 Feature Scaling 的方式：求出每一维变量的期望（下图的 mean）和标准差（standard deviation），然后对 R 组数据的每一维变量都进行标准化（归一化），这样得到的每一维的变量都介于[0,1]。