1.通过神经网络计算迭代更新来实现更好的最值逼近【19】。
1.1使用长短期记忆回归神经网络（LSTM-RNN）来预测更新 。因为雅可比矩阵结构常常表现出特定的倾向性，在将雅可比矩阵引入网络之前对其作变换，
。通常优化计算算法中使用的是Hessian的近似，这篇文章使用LSTM-RNN网络来实现更强大的函数逼近能力。
(8)
其中， 是网络参数，
是整个LSTM网络的单元更新结构，h是隐藏层。
图1 LSTM-RNN网络架构图
1.2
采用特殊的雅可比矩阵结构，对其进行一定的转变。与经典的高斯牛顿方法一样， 利用近似海森矩阵进行计算。
(9)
图2 雅可比矩阵结构