梯度

梯度是一个矢量，曲面上每点的梯度是常数。

曲面中点的方向导数有无数个，当方向导数与梯度方向一致时，该导数值取得最大，等价于该点在梯度方向具有最快的变化值。梯度方向是函数值增加最快的方向，梯度的反方向是函数值减小最快的方向。

参考：如何直观形象地理解方向导数与梯度以及它们之间的关系？

海森矩阵

Hessian矩阵是半正定的

对一元函数f(x)来说，就极值而言，一阶导数为0是极值点的必要但不充分条件，一阶导数为0且二阶导数大于0是极小值的充要条件。用二阶泰勒展开就能理解。

对于多元变量，二阶高斯公式展开如下：

$$f(x) = f(x_0) + (x-x_0)\nabla f(x_0) + \frac{1}{2} (x-x_0)^TH(x-x_0)$$

$H$ 作为海森矩阵，也可以写作$\nabla^2 f(x_0)$，可以理解为把梯度向量推广为二阶形式，梯度向量本身也是Jacobian矩阵的一种特例。

把$(x-x_0)$写作 $\Delta x$ ，类似一元函数，我们希望二次项 $\Delta x^T H \Delta x \ge 0$对任意的$\Delta x$ 成立，这就等价于 $H$ 半正定。

当$\nabla f(x_0)=0 \ 且 \ \Delta x^T H \Delta x > 0$时，也就是海森矩阵正定，$x_0$是$f(x)$的局部极小点。但这是充分不必要条件，有的点x可能是极小点，但该点的海森矩阵不是正定的。

但是当$\Delta x^T H \Delta x = 0$时，无法判断此点是否为极值点，所以牛顿法及阻尼牛顿法的缺陷就在这里，因为$H$是半正定的，所以不能保证每次都能收敛到极小值点。

海森矩阵正定，则函数为凸函数

凸函数$f(x)$的任何局部极小点 $\hat x$ 都是该函数的一个全局极小点。