梯度，雅克比矩阵和海森矩阵

这里讨论的三个概念：梯度向量、Jacobian矩阵和Hessian矩阵，有关后面两个矩阵的性质日后将进一步完善。

总 述

设自变量：x = ( x1, x2 ,⋯, xn )T
因变量有两种情况：

• 一维f(x)：
  一阶导数构成的向量为梯度向量 g(x)
  二阶导数构成的矩阵为Hessian矩阵(海森矩阵)

• 多维 f(x) =(f1(x), f2(x), ⋯ , fm(x))T：
  此时的一阶导数构成的矩阵为Jacobian矩阵（雅克比矩阵）

梯度向量

雅克比矩阵

海森矩阵