1. Jacobian matrix (雅可比矩阵)
1.1 定义
如果函数 boldsymbol{f}: mathbb{R}^n rightarrow mathbb{R}^m 在点 boldsymbol{x} 可微，则在点 boldsymbol{x} 的 Jacobian 矩阵即为该函数在该点的最佳线性逼近，也被称为向量值多变数函数 boldsymbol{f} 在点 boldsymbol{x} 处的微分或导数。
begin{array}{c}
boldsymbol{J} = left[
frac{partialboldsymbol{f}}{partial x_1} cdots frac{partialboldsymbol{f}}{partial x_n}
right] = left[
begin{matrix}
frac{partial f_1}{partial x_1} & cdots & frac{partial f_1}{partial x_n} \
vdots & ddots & vdots \
frac{partial f_m}{partial x_1} & cdots & frac{partial f_m}{partial x_n}
end{matrix}
right]
end{array}
2. Hessian matrix (黑塞矩阵)
Hessian 矩阵是一个由多变量实值函数的所有二阶偏导数组成的方块矩阵。
2.1 定义
假设实值函数 f(x_1,cdots,x_n) 的所有二阶偏导数都存在并在定义域内连续，那么函数 f 的 Hessian 矩阵为
begin{array}{c}
boldsymbol{H} = left[
begin{matrix}
frac{partial^2 f}{partial x_1^2} & cdots & frac{partial^2 f}{partial x_1 partial x_n} \
vdots & ddots & vdots \
frac{partial^2 f}{partial x_n partial x_1} & cdots & frac{partial^2 f}{partial x_n^2}
end{matrix}
right]
end{array}
记作 boldsymbol{H} = nabla^2 f
2.2 性质
- 若函数有n 次连续性，则函数的 Hessian 矩阵是对称方阵。
- 函数 f 的 Hessian 矩阵和 Jacobian 矩阵有如下关系：
begin{array}{c}
boldsymbol{H}(f) = boldsymbol{J}(nabla f^T)
end{array}
即函数的 Hessian 矩阵等于其梯度的 Jacobian 矩阵。
