模型的改善与泛化（梯度与等高线）

跟我一起机器学习系列文章将首发于公众号：月来客栈，欢迎文末扫码关注！

在上一篇文章中，笔者介绍了什么是等高线，并且还同时直接给出了梯度的垂直于等高线的结论，但是并没有介绍为什么。因此本篇文章就来大致介绍一下梯度为什么会垂直于等高线。

设$f(x,y)=c$f(x,y)=c为平面上任意一曲线，又由于曲线$F(x,y)=0$F(x,y)=0的法向量为$\overrightarrow{n}=\{F_x,F_y\}=\Delta F$n={Fx​,Fy​}=ΔF。故，令$F(x,y)=f(x,y)-c=0$F(x,y)=f(x,y)−c=0，立即有曲线$F(x,y)$F(x,y)的法向量为$\overrightarrow{m}=\{f_x,f_y\}$m={fx​,fy​}。可以发现，曲线$F(x,y)$F(x,y)也就是$f(x,y)=c$f(x,y)=c的法向量$\overrightarrow{m}$m正好就是曲线$f(x,y)=c$f(x,y)=c对应的梯度，所以可以得出**梯度垂直于曲线（等高线）**的结论。

下面通过一个举例来说明：

如图所示，已知曲线$f(x,y)=(x-2)^2+y^2-1=0$f(x,y)=(x−2)2+y2−1=0，因此其在$P$P点的梯度$\overrightarrow{m}=\{2(x-2),2y\}|_{P}$m={2(x−2),2y}∣P​。又因为曲线$y=\sqrt{1-(x-2)^2}$y=1−(x−2)2​在$P$P的斜率为：
$k=\frac{2-x}{\sqrt{1-(x-2)^2}}\tag{1}$k=1−(x−2)2​2−x​(1)
将$y=\sqrt{1-(x-2)^2}$y=1−(x−2)2​代入$(1)$(1)得：
$k=\frac{2-x}{y}\tag{2}$k=y2−x​(2)
故，曲线$y=\sqrt{1-(x-2)^2}$y=1−(x−2)2​过点$P$P的切线的一个方向向量为$\overrightarrow{n}=\{(y,2-x)\}|_P$n={(y,2−x)}∣P​

注：若直线斜率为$k$k，则他的一个方向向量为$(1,k)$(1,k)

由此可得：$\overrightarrow{m}\cdot\overrightarrow{n}=\{2(x-2),2y\}|_{P}\cdot\{(y,2-x)\}|_P=0$m⋅n={2(x−2),2y}∣P​⋅{(y,2−x)}∣P​=0

所以$\overrightarrow{m}\bot\overrightarrow{n}$m⊥n，即曲线$f(x,y)=(x-2)^2+y^2-1=0$f(x,y)=(x−2)2+y2−1=0在任意一点的梯度$\overrightarrow{m}$m均垂直于曲线$f(x,y)$f(x,y)。

下图左边为随机选择一点，然后以梯度的反方向进行移动；右边为$(0,0)$(0,0)点附近一点，然后以梯度方向进行移动：

引用

• 徐小湛《高等数学》第96讲 方向导数与梯度
• 图示及示例代码：关注公众号回复“示例代码”即可直接获取！