《深度学习》学习笔记三——数值计算

目录

• 目录
• 上溢和下溢
• 基于梯度的优化方法
  • 导数
  • 偏导数
• 约束优化
• 参考资料

上溢和下溢

• 下溢(underflow)是一种极具毁灭性的舍入误差.当接近零的数被四舍五入为零时发生下溢
• 上溢(overflow)是一种极具破坏力的数值错误形式.当大量级的数被近似为∞$\mathrm{\infty }$或者−∞$-\mathrm{\infty }$时发生上溢,进一步的运算通常会导致这些无限值变成非数字.
• softmax 函数(softmax function)可以对上溢和下溢进行数值稳定的一个函数,softmax函数经常用于预测与Multinoulli分布相关联的概率,定义为:

---

基于梯度的优化方法

大多数深度学习算法都涉及某种形式的优化.优化指的是改变x$x$以最小化或最大化某个函数f(x)$f(x)$的任务.我们通常以最小化f(x)$f(x)$指代大多数最优化问题,最大化可以经由最小化算法最小化−f(x)$-f(x)$来实现
我们把要最小化或最大化的函数称为目标函数(objective function)或者准则(criterion).当我们对其进行最小化时,也把它称为代价函数(cost function),损失函数(loss function)或者误差函数(error function)

导数

导数（derivative）：设函数y=f(x)$y=f(x)$在点x0$x_0$的某邻域U(x0)$U(x_0)$内有定义,当自变量x$x$在点x0$x_0$处取得增量△x$\mathrm{△}x$(△x≠0$\mathrm{△}x\ne 0$ 且x0+△x∈U(x0)$x_0+\mathrm{△}x\in U(x_0)$)时,相应的函数y$y$取得增量:

△y=f(x0+△x)−f(x0)(1)$$\begin{array}{}\text{(1)}& \mathrm{△}y=f(x_0+\mathrm{△}x)-f(x_0)\end{array}$$

若极限

lim△x→0△y△x=lim△x→0f(x0+△x)−f(x0)△x(2)$$\begin{array}{}\text{(2)}& \underset{\mathrm{△}x\to 0}{lim}\frac{\mathrm{△}y}{\mathrm{△}x}=\underset{\mathrm{△}x\to 0}{lim}\frac{f(x_0+\mathrm{△}x)-f(x_0)}{\mathrm{△}x}\end{array}$$

存在,则称函数y=f(x)$y=f(x)$在点x0$x_0$可导,并称此极限值为函数y=f(x)$y=f(x)$在点x0$x_0$的导数,记作f′(x0)$f^{\mathrm{\prime }}(x_0)$或者dydx∣∣x=x0${\frac{dy}{dx}|}_{x=x_0}$
由上面的定义可得若曲线y=f(x)$y=f(x)$存在一点(x0,y0)$(x_0,y_0)$,并且在这点上可导,导数为f′(x0)$f^{\mathrm{\prime }}(x_0)$,那么导数f′(x0)$f^{\mathrm{\prime }}(x_0)$就是该点的斜率.
梯度下降(gradient descent)导数对最小化一个函数很有用,当△x$\mathrm{△}x$足够小时,f(x−△xsign(f′(x)))$f(x-\mathrm{△}x\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(f^{\mathrm{\prime }}(x)))$是比f(x)$f(x)$小的,因此我们可以将x$x$往导数的反方向移动一小步来减小f(x)$f(x)$.这种技术称为梯度下降

在不断重复上面操作后,最终可以得到f′(x)=0$f^{\mathrm{\prime }}(x)=0$,改点称为临界点(critical point)或驻点(stationary),这个驻点可能是极大点(maximum),或者是极小点(minimum),还有可能是鞍点(saddle point),还要进一步计算.

1. 当驻点的左边的△x$\mathrm{△}x$距离的f′(x)$f^{\mathrm{\prime }}(x)$小于0,而驻点的右边边的△x$\mathrm{△}x$距离的f′(x)$f^{\mathrm{\prime }}(x)$大于0,则该驻点是极小值
2. 当驻点的左边的△x$\mathrm{△}x$距离的f′(x)$f^{\mathrm{\prime }}(x)$大于0,而驻点的右边边的△x$\mathrm{△}x$距离的f′(x)$f^{\mathrm{\prime }}(x)$小于0,则该驻点是极大值
3. 当驻点的距离左右两边的△x$\mathrm{△}x$距离的f′(x)=$f^{\mathrm{\prime }}(x)=$都小于0或都大于0,则该驻点是鞍点
   
   在上面用到了sign$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$函数,下面的就是sign$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$定义:
   
   sign(x)=⎧⎩⎨⎪⎪1,x>00,x=0−1,x<0(3)$$\begin{array}{}\text{(3)}& \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(x)=\{\begin{array}{c}1,x>0\\ 0,x=0\\ -1,x<0\end{array}\end{array}$$
   
   sign$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}$函数的坐标图：
   

偏导数

当函数只有二维输入时，其只有一个驻点，所以这个驻点就是它的最小点或者最大点。但是通常遇到更多的是多维输入的函数，它具有多个驻点，所以它有多个极小点和极大点，如下图。所以通过上面的方法很难找到最大点或者最小点。

针对具有多维输入的函数，我们就需要用到偏导数(partial derivative)的概念了。
设函数z=f(x,y)$z=f(x,y)$在点(x0,y0)$(x_0,y_0)$的某个领域内有定义，当y$y$固定在y0$y_0$而x$x$在x0$x_0$处有增量△x$\mathrm{△}x$时，相应地函数有增量

f(x0+△x,y0)−f(x0,y0)(4)$$\begin{array}{}\text{(4)}& f(x_0+\mathrm{△}x,y_0)-f(x_0,y_0)\end{array}$$

如果有极限

lim△x→0f(x0+△x,y0)−f(x0,y0)△x(5)$$\begin{array}{}\text{(5)}& \underset{\mathrm{△}x\to 0}{lim}\frac{f(x_0+\mathrm{△}x,y_0)-f(x_0,y_0)}{\mathrm{△}x}\end{array}$$

存在，则称此极限为函数z=f(x,y)$z=f(x,y)$在点(x0,y0)$(x_0,y_0)$处对x$x$的偏导数，记作：

∂f∂x∣∣∣x=x0,y=y0或f′x(x0,y0)(6)$$\begin{array}{}\text{(6)}& {\frac{\mathrm{\partial }f}{\mathrm{\partial }x}|}_{x=x_0,y=y0}或f_x^{\mathrm{\prime }}(x_0,y_0)\end{array}$$

同理，函数z=f(x,y)$z=f(x,y)$在点(x0,y0)$(x_0,y_0)$处对y$y$的偏导数为：

f′y(x0,y0)=lim△y→0f(x0,y0+△y)−f(x0,y0)△y(7)$$\begin{array}{}\text{(7)}& f_y^{\mathrm{\prime }}(x_0,y_0)=\underset{\mathrm{△}y\to 0}{lim}\frac{f(x_0,y_0+\mathrm{△}y)-f(x_0,y_0)}{\mathrm{△}y}\end{array}$$

例求f(x,y)=x2+3xy+y2$f(x,y)=x^2+3xy+y^2$在点(2,1)处的偏导数fx(2,1),fy(2,1)$f_x(2,1),f_y(2,1)$.
解：把y$y$看作常数，对x$x$求导得到

fx(x,y)=2x+3y(8)$$\begin{array}{}\text{(8)}& f_x(x,y)=2x+3y\end{array}$$

把x$x$看作常数，对y$y$求导得到

fy(x,y)=3x−2y(9)$$\begin{array}{}\text{(9)}& f_y(x,y)=3x-2y\end{array}$$

代入x=2,y=1$x=2,y=1$，故所求偏导数为：

fx(2,1)=7,fy(2,1)=4(10)$$\begin{array}{}\text{(10)}& f_x(2,1)=7,f_y(2,1)=4\end{array}$$

梯度(gradient)是相对一个向量求导的导数：f$f$的导数是包含所有偏导数的向量，记作∇xf(x)${\mathrm{\nabla }}_{x}f(x)$。梯度的第i$i$个元素是f$f$关于xi$x_i$的偏导数。在多维情况下，临界点是梯度中所有元素都为零的点。

---

约束优化

有时候,在x$x$的所有可能值下最大化或者最小化一个函数f(x)$f(x)$不是我们所希望的,相反,我们可能希望在x$x$的某些集合S$\mathbb{S}$中找到f(x)$f(x)$的最大值或者最小值,这个称为约束优化(constrained optimization)
Karush-Kuhu-Tucker(KKT)方法是针对约束优化非常通用的解决方案,KKT方法是Lagrange乘子法(只允许等式约束)的推广

---

参考资料

1. lan Goodfellow,Yoshua Bengio,Aaron Courville.深度学习(中文版).赵申剑,黎彧君,符天凡,李凯,译.北京:人民邮电出版社
2. 郭游瑞,徐应祥,任阿娟,赵志琴.高等数学简明教程.上海:复旦大学出版社