BFGS

BFGS

step 1.

根据泰勒公式，省略掉高阶项：

f(x)≈f(xk+1)+∇f(xk+1)⋅(x−xk+1)+12⋅(x−xk+1)T⋅∇2f(xk+1)⋅(x−xk+1)$f(x)\approx f(x_{k+1})+\mathrm{\nabla }f(x_{k+1})\cdot (x-x_{k+1})+\frac{1}{2}\cdot (x-x_{k+1}{)}^T\cdot {\mathrm{\nabla }}^{2}f(x_{k+1})\cdot (x-x_{k+1})$

再两边取导数得

∇f(x)=∇f(x+1)+Hk+1(x−xk+1)$\mathrm{\nabla }f(x)=\mathrm{\nabla }f(x+1)+H_{k+1}(x-x_{k+1})$

此时，取x=xk$x=x_k$，并设∇f(xk)=gk,∇2f(xk)=Hk$\mathrm{\nabla }f(x_k)=g_k,{\mathrm{\nabla }}^{2}f(x_k)=H_k$

有gk+1−gk=Hk+1⋅(xk+1−xk)$g_{k+1}-g_k=H_{k+1}\cdot (x_{k+1}-x_k)$，设gk+1−gk=yk$g_{k+1}-g_k=y_k$,xk+1−xk=Sk$x_{k+1}-x_k=S_k$

则有

yk=Hk+1⋅Sk(1)$$\begin{array}{}\text{(1)}& y_k=H_{k+1}\cdot S_k\end{array}$$

step 2.

用Bk$B_k$表示海森矩阵Hk$H_k$的近似，用Dk$D_k$表示H−k1$H_k^{-}1$(海森矩阵的逆)的近似

Bk+1=Bk+ΔBk$B_{k+1}=B_k+\mathrm{\Delta }{B}_k$

设∇Bk=αuuT+βvvT$\mathrm{\nabla }{B}_k=\alpha \mathit{u}{\mathit{u}}^{\mathit{T}}+\beta \mathit{v}{\mathit{v}}^{\mathit{T}}$ ,其中u$\mathit{u}$和v$\mathit{v}$是n维向量

又由(1)得 yk=Bk+1⋅Sk$y_k=B_{k+1}\cdot S_k$

所以

yk=Bk⋅Sk+αuuTSk+βvvTSk$y_k=B_k\cdot S_k+\alpha \mathit{u}{\mathit{u}}^{\mathit{T}}{S}_k+\beta \mathit{v}{\mathit{v}}^{\mathit{T}}{S}_k$

yk=Bk⋅Sk+αuTSku+βvTSkv$y_k=B_k\cdot S_k+\alpha {\mathit{u}}^{\mathit{T}}{S}_k\mathit{u}+\beta {\mathit{v}}^{\mathit{T}}{S}_k\mathit{v}$ (之所以能这么换位置，是因为uTSk${\mathit{u}}^{\mathit{T}}{S}_k$是一个数，而不是一个矩阵或向量)

令

⎧⎩⎨⎪⎪⎪⎪⎪⎪αuTSk=1βvTSk=1u=ykv=BkSk}这样设是为了将Bk+1能用yk和Sk表示$$\{\begin{array}{l}\alpha {\mathit{u}}^{\mathit{T}}{S}_k=1\\ \beta {\mathit{v}}^{\mathit{T}}{S}_k=1\\ \begin{array}{l}u=y_k\\ \mathit{v}=B_k{S}_k\end{array}\}这样设是为了将B_{k+1}能用y_k和S_k表示\end{array}$$

可以解得

α=1yTkSk$$\alpha =\frac{1}{y_k^T{S}_k}$$

β=−1vTSk=−1STkBTkSk$$\beta =\frac{-1}{v^T{S}_k}=\frac{-1}{S_k^T{B}_k^T{S}_k}$$

所以

ΔBk=ykyTkyTkSk−BkSkSTkBTKSTKBTKSk(2)$$\begin{array}{}\text{(2)}& \mathrm{\Delta }{B}_k=\frac{y_k{y}_k^T}{y_k^T{S}_k}-\frac{B_k{S}_k{S}_k^T{B}_K^T}{S_K^T{B}_K^T{S}_k}\end{array}$$

后面转自：

作者: peghoty

出处: http://blog.csdn.net/itplus/article/details/21897443

L-BFGS

所谓L-BFGS是对BFGS进行了空间优化：
这是由于向量维数n到达了一定数量级，n×n$n\times n$的矩阵需要相当大的内存。

L-BFGS算法并没有直接存储整个矩阵，而是在需要用到时，根据若干个n维向量来计算。

由于计算的结果需要用到之前每一次迭代/循环中的结果， L-BFGS算法只保存了最近的m次迭代的结果，所以L-BFGS算法又做了近似。