无约束非线性优化经典算法学习笔记

本博客仅为学习笔记。

梯度下降法

有函数x(θ) ,梯度下降法的迭代公式为:

xk+1=xk−agk

其中gk为x(θ) 在x_k点的导数。

牛顿法

当x为标量时

xk+1=xk−x′x′′

当x为向量时：

xk+1=xk−H−1kgk

其中 H−1 为 Hession矩阵的逆函数，g为一阶导数向量。

L-BFS

在牛顿法中，每次都需要求H−1k, 每次求二阶导数，再求逆矩阵这个计算量是很大的。所以有人考虑使用迭代计算的方法计算每一个H−1k, 令

Bk=H−1k

找出一个公式 ,使得

Bk+1=Bk+δ

求出这个迭代用的δ。

http://blog.csdn.net/acdreamers/article/details/44728041