多元微积分笔记

多元微积分

偏导数

有多元标量函数 $f(\mathbf{x})$，其中 $\mathbf{x}=(x_1,x_2,\dots ,x_n)$。我们定义偏导数

$$\frac{\mathrm{\partial }f}{\mathrm{\partial }{x}_i}(\mathbf{x})=\underset{h\to 0}{\lim }\frac{f(x_1,\dots ,x_i+h,\dots ,x_n)-f(\mathbf{x})}{h}$$

梯度、Nabla 算子

有多元标量函数 $f(\mathbf{x})$，其中 $\mathbf{x}=(x_1,x_2,\dots ,x_n)$。

$f$ 在 $\mathbf{x}$ 处的梯度：

$$\mathrm{\nabla }f(\mathbf{x})={[\frac{\mathrm{\partial }f}{\mathrm{\partial }{x}_1}(\mathbf{x}),\dots ,\frac{\mathrm{\partial }f}{\mathrm{\partial }{x}_n}(\mathbf{x})]}^{\mathrm{\top }}$$

上面的 $\mathrm{\nabla }$ 叫作 Nabla 算子。

梯度向量指向高处，所以梯度下降时我们要将梯度向量减去梯度乘学习率。

在约束优化，我们还会见到 ${\mathrm{\nabla }}_{\mathbf{x}}\mathcal{L}({\mathbf{x}}^{\ast },{\mathit{\lambda }}^{\ast })$ 这种形式，首先函数 $\mathcal{L}(\mathbf{x},\mathit{\lambda })$ 两个输入都是向量，这个式子是说将 $\mathcal{L}$ 视为关于 $\mathbf{x}$ 的函数（参数 $\mathit{\lambda }$ 固定，不再作为输入），对新的函数求偏导。

雅可比矩阵

对于一个非线性映射 $\mathit{f}:{\mathbb{R}}^m\to {\mathbb{R}}^n$，对于点 $\mathit{x}$ 和变换后的点 $\mathit{f}(\mathit{x})$，我们定义类似导数的概念，将 $\mathit{x}$ 附近的空间发生的变换（不关注空间发生的平移）近似为一个线性变换 $\mathit{a}\mapsto \mathit{J}\mathit{a}$。这里的 $\mathit{J}$ 就是 $\mathit{f}$ 在 $\mathit{x}$ 处的雅可比矩阵，定义为：

$$J_{i,j}=\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_j}\mathit{f}(\mathit{x}{)}_i$$

海森矩阵

对于向量到标量的非线性映射 $f:{\mathbb{R}}^n\to \mathbb{R}$，定义海森矩阵，它扩展了二阶导的定义：

$$\mathit{H}(f)(\mathit{x}{)}_{i,j}=\frac{{\mathrm{\partial }}^2}{\mathrm{\partial }{x}_j\mathrm{\partial }{x}_i}f(\mathit{x})$$

$\mathit{x}$ 二阶偏导连续时，海森矩阵对称。

当点 $\mathit{x}$ 处梯度为 0 时，可以用海森矩阵的特征值判定：

• 若所有特征值都大于 0，则为局部极小值；
• 若所有特征值都小于 0，则为局部极大值；
• 若存在正负混合，则为鞍点；
• 若有特征值为 0，需要更高阶分析或其他判定方法配合。

海森矩阵在函数定义域内处处半正定和函数是凸函数是等价的。