梯度下降法复杂度计算与公式推导

梯度下降法复杂度计算与公式推导

如何梯度下降法的复杂度

1. 通过自己的数据进行实际代码运行测试，看看时间性能如何。但是这样子不能直观看出类似于：quick sort(nlogn)这样的复杂度
2. 通过公式进行复杂度评估

Gradient Descent Algorithm

1. 初始化$x_0\in R^d$x0​∈Rd 和步长 （step_size） $\eta_t$ηt​>0
2. for i = 1, 2, 3, …:
   $x_{i+1}$xi+1​= $x_i$xi​ - $\eta_t\nabla$ηt​∇f($x_i$xi​)

convergence Analysis of Grandient Descent

(梯度下降法的收敛分析)

1. 定理

       假设满足L- Lipschitz 条件(即是平滑函数i.e.LR等)， 并且是凸函数， 设定$x^* = argmin f(x)$x∗=argminf(x)（即我们最后想得到的最优解）, 步长$\eta_t\leq\frac{1}{L}$ηt​≤L1​(L 即是一个常数)， 即满足：
                                                                             $f(x_k)\leq f(x_*) + \frac{||x_0 - x_*||_2^2}{2\eta K}\tag{1.1}$f(xk​)≤f(x∗​)+2ηK∣∣x0​−x∗​∣∣22​​(1.1)
       当我们迭代 $k = \frac{L||x_0 - x_*||_2^2}{\varepsilon}$k=εL∣∣x0​−x∗​∣∣22​​ , 就能保证收敛到保证$\varepsilon$ε - approximation optional value $x(\eta_t = \frac{1}{L})$x(ηt​=L1​)
       其中$x_k$xk​是程序第K次迭代的x的值,即在程序运行中我们希望我们的$f(x_k)$f(xk​) 慢慢接近于$f(x_*)$f(x∗​), 即 $\frac{||x_0 - x_*||_2^2}{2\eta K}$2ηK∣∣x0​−x∗​∣∣22​​越来越小， 此时判断GD执行K值收敛的$\varepsilon$ε即可知复杂度有多少。
即，将$k = \frac{L||x_0 - x_*||_2^2}{\varepsilon}$k=εL∣∣x0​−x∗​∣∣22​​ ， $\eta_t\leq\frac{1}{L}$ηt​≤L1​带入（1.1）：
$\frac{||x_0 - x_*||_2^2}{2\eta_t \frac{L||x_0 - x_*||_2^2}{\varepsilon}} = \frac{\varepsilon}{2\eta_t L} = \frac{\varepsilon}{2}$2ηt​εL∣∣x0​−x∗​∣∣22​​∣∣x0​−x∗​∣∣22​​=2ηt​Lε​=2ε​

$\therefore f(x_k) \leq f(x^*) + \frac{\varepsilon}{2} = f(x^*) + O(\varepsilon) \tag{1.2}$∴f(xk​)≤f(x∗)+2ε​=f(x∗)+O(ε)(1.2)

2. 公式求导

2.1 凸函数性质：
定义：若 $f(x)$f(x) 是凸函数（convexity）则任意的$x,y\in R^d, 0\leq\lambda\leq1$x,y∈Rd,0≤λ≤1
$f(\lambda x + (1-\lambda)y)\leq\lambda f(x) +(1-\lambda)f(x) \tag{2.1}$f(λx+(1−λ)y)≤λf(x)+(1−λ)f(x)(2.1)
$f(x) + \nabla f(x)(y-x) \leq f(y) \tag{2.2 . first order convexity}$f(x)+∇f(x)(y−x)≤f(y)(2.2 . first order convexity)

2.1 L- Lipschitz2条件以及定理（给定的第二个定理）：
一个光滑函数（smooth function）f 满足 L- Lipschitz条件， 则对于任意$x,y\in R^d, 即有$x,y∈Rd,即有
$||\nabla f(x) - \nabla f(y)|| \leq L|| x-y|| \tag{Claim 1}$∣∣∇f(x)−∇f(y)∣∣≤L∣∣x−y∣∣(Claim 1)

证明Claim 1 , 举例linear regression, loss = $\frac{1}{n}||X_m-y||^2,X_m是矩阵形式$n1​∣∣Xm​−y∣∣2,Xm​是矩阵形式

2.3 L- Lipschitz3条件以及定理（给定的第三个定理）
假设一个函数满足L-Lipschitz 条件， 并且是凸函数，对于任意的$x,y\in R^d, 我们有：
$f(y)\leq f(x)+ \nabla f(x)(y-x) +\frac{L}{2} ||y-x||^2 \tag{2.3}$f(y)≤f(x)+∇f(x)(y−x)+2L​∣∣y−x∣∣2(2.3)

回顾积分性质：
已知： $h(x): h(1)= h(0) + \int_0^1\dot{h(\tau)}d\tau$h(x):h(1)=h(0)+∫01​h(τ)˙​dτ
定义： $h(\tau)=f(x + \tau(y-x))$h(τ)=f(x+τ(y−x))
所以： $h(1)=f(y), h(0)=f(x)$h(1)=f(y),h(0)=f(x)
$f(y)=f(x)+\int_0^1\nabla f(x+\tau(y-x))(y-x)d\tau \tag{2.4}$f(y)=f(x)+∫01​∇f(x+τ(y−x))(y−x)dτ(2.4)

定理3 的证明：

根据上面推导的公式，证明定理1：