什么是Hessian矩阵

Hessian矩阵是一个函数的二阶偏导数构成的矩阵。对于一个函数 f(x1, x2, ..., xn)，其 Hessian 矩阵 H 的第 i 行第 j 列元素表示 ∂²f / ∂xi∂xj，即函数在第 i 个自变量和第 j 个自变量处的二阶偏导数。Hessian 矩阵是一个对称矩阵，因为 ∂²f / ∂xi∂xj = ∂²f / ∂xj∂xi。Hessian 矩阵可以用来判断一个函数的极值点类型。如果一个点的 Hessian 矩阵是正定的，则该点是函数的局部极小值点；如果 Hessian 矩阵是负定的，则该点是函数的局部极大值点；如果 Hessian 矩阵不定，则该点不是极值点。Hessian 矩阵在优化问题和机器学习中有着重要的应用，例如牛顿法和拟牛顿法等优化算法都使用了 Hessian 矩阵。