基本资料转自:
牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

梯度下降法:

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

牛顿法:

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

拟牛顿法:

基本思想是:
不用二阶偏导数而构造出可以近似Hession矩阵或Hession矩阵的逆的正定对称阵,在拟牛顿的条件下优化目标函数。

DFP算法

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

BFGS算法

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

机器学习数学基础---牛顿法、拟牛顿条件、DFP算法、BFGS算法、L-BFGS算法

相关文章: