牛顿法与梯度下降算法的适用范围
- 这两种算法都只能找到局部最小值，也就是说容易陷入局部最优。
- 两种算法都必须给出一个初始点。
- 牛顿法使用二阶逼近，梯度下降法使用一阶逼近。
- 牛顿法对局部凸的函数能找到极小值，对局部凹的函数能找到极大值，对局部不凸不凹的可能找到鞍点。
- 梯度下降法一般不会找到最大值，但同样可能会找到鞍点。
- 当初始点选取合理的情况下，牛顿法比梯度下降法收敛的速度快。
- 牛顿法要估计二阶导数，计算难度相对要大。
牛顿法
一元函数二阶逼近
首先在初始点处写出二阶泰勒级数：
我们知道关于的二次函数的极值点为，(可以类比二次函数，，它的极值点坐标为),那么本着逼近的精神的极值点估计在附近，于是定义，并重复此步骤得到此序列：
多元函数二阶逼近
如果函数是一个多元函数，是一个向量，那么牛顿法序列变为：
思路与技巧完全相同，只是使用梯度取代一阶导数，使用Hessian矩阵代替二阶导数。
梯度下降法
Model and Cost Function(模型和损失函数)
给出一个房价预测的例子，x轴是房子的大小，y轴是房子的价格，图中标注了一些房子作为数据集，而这些点被称为标注数据(labeled data)，利用这样的数据来预测的方法称为：监督学习。监督学习分为两类：分类与回归，此时，作为预测房价的这个例子是监督学习中的回归例子。
代表是数据集的个数，是输入变量或者特征，是输出变量或者目标变量。
选择题1
整个预测的过程可以归结为如下图:
通过训练数据，将数据输入到算法里面，我们能得到一个关于这个模型的一个假设，然后利用这个假设我们将其他输入变量输入到该假设中就会得到我们想要的预测结果。那么对于单变量的线性回归我们用如下公式来表示：
线性模型其意思是模型是呈现线性变化的，为什么对于该房价的例子我们要采用单变量的，其原因是该模型的未知参数仅有一个来决定。
对于假设函数其包含两个参数，和，那么如何来确定这两个参数来使得得出的假设函数直线更好的拟合数据集或者换句话说如何才能判断假设函数所产生的误差最小？
所以，给出如下定义：
第一个公式是最小化预测值与真实值差的平方的值，也叫作均方误差值，是衡量误差的一种方式。第二个公式是我们的假设函数。有时我们更喜欢写成如下形式：
其中的叫做代价函数(cost function),我们的目的就是最小化代价函数，使得假设函数更加接近真实数据集。为了能更好的解释代价函数我们举个例子并画出能说明其含义的图来：
左边的图在坐标系中分别画了三个的点，，，假设这就是我们的数据集，那么现在我们就要对这个数据集进行假设函数的猜测，当然，学过数学的人一眼就能看出在，时，也就是假设函数时是最吻合数据集的，但是假如该数据集不会这样简单，不能一眼看出它的拟合线来该怎么办呢？注意到，当假设函数越能拟合数据集时，它的代价函数就越接近，所以这就是采用代价函数来选择参数，从而产生出更好的假设函数来拟合数据集的原因。
选择题2
刚刚上面的例子图片采用的二维的图像，因为图片中只包含了两个参数，和，如果是三个参数的图片则会映射到三维的图像上面上：
在这个三维图片中，图中的图片上的点距离“水平地面”的高度就是它的代价值，或许我们还可以用另外一种图片来表示这个三维图：剖面图或者轮廓图。
从上到下，左边依次是不同的假设函数直线，右边依次是不同的轮廓图，这三个假设直线一个比一个更接近数据集，所以对应的轮廓图中的代价函数的点会更接近中心区域。所以运用此种图片可以更加直观的来判别假设函数的好坏。
Gradient Desent(梯度下降)
就像图片中画出的那样，梯度下降就是以最合适的方向来进行递减。假如自己站在一个山峰的某以高度，现在想以最快的速度去山底，所以就会问自己以我现在所在的位置我的四周360度的方向上哪一个方向上可以令我下降最快，然后不断进行迭代和执行，这样终会在某一时刻会到达山底。
但是又如上图所示，不可避免的当我所站的位置不一样，会下降到不同的山底，而这样的山底其实只是在我当前的视野中的山底并不是真正的山底，所以，此种方法会受限于的选择。换句话说就是会陷入
下面让我们来公式化梯度下降算法：
其中叫做学习率(learning
rate)，叫做梯度，。
选择题3
那么公式化完了梯度下降的公式，让我们再来看看这个公式所包含的意义和原理：
上图中有两个小坐标图，先来看第一个小坐标图，注意到在图的右边有个红点，此时在它当前的位置上的导数是个，所以对于中的即为倍的某一个正数，所以对于更新后的相当于了，所以更新后的会逐渐靠近图中的谷底。
而第二个小坐标图，注意到在图的左边有个红点，此时在它当前的位置上的导数是个，所以对于中的即为倍的某一个负数，所以对于更新后的相当于了，所以更新后的也会逐渐靠近图中的谷底。以上就是梯度下降算法的自更新原理。
对于参数也有选取上的一些注意事项，如果选取的太小则会导致到达最终点的时间过慢，太大的话会导致在最终点附近发生来回震荡(overshoot)：
选择题4
解析
- 可以看出当前所在的点已经陷入局部最优了，所以此时的不会改变并且会停止迭代。
还有一点是需要注意的，。因为当趋于最优点时其导数会趋于,所以导致步长越来越小，故只要确定了合适的学习率就不必担心步长的大小问题了：
小节测试
小节测试题1
小节测试题2
小节测试题3
小节测试题4
解析
- 选项三，选择过小是有坏处的，会导致函数收敛速度过慢。
- 选项四，存在局部最优点的函数在进行梯度下降时会因为初始点的选择(,)的不同导致最终收敛结束后的结果不同。
小节测试题5
解析
- 选项三，并不能说明迭代至了局部最优点了，只能说明假设函数与数据集完全拟合了。