非线性优化问题：优化函数或约束条件至少有一个是非线性函数的最优化问题。
主要有三类：
- 无约束优化问题
- 含等式约束的优化问题
- 含不等式约束的优化问题
针对上述三类优化问题主要有三种不同的处理策略，对于无约束的优化问题，可直接对其求导，并使其为0，这样便能得到最终的最优解。一般有梯度法、牛顿法、拟牛顿法；对于含等式约束的优化问题，主要通过拉格朗日乘数法、消元法转换成为无约束优化问题求解；对于含有不等式约束的优化问题，主要通过KKT条件( Karush-Kuhn-Tucker Condition )将其转化成无约束优化问题求解。
最小二乘问题是无约束的优化问题。
海森矩阵和局部极值
对于多元函数，通过Hessian矩阵的正定性判断，如果Hessian矩阵是半正定矩阵，那就是凸函数。如果优化函数是凸函数，那么局部最小就是全局最小，不会陷入局部最优里。
基于Hessian矩阵，可以推断多元函数的极值情况了。结论如下：
- 假设是正定矩阵，则临界点处是一个局部极小值
- 假设是负定矩阵，则临界点处是一个局部极大值
- 假设是不定矩阵，则临界点处不是极值