对向量求导的常用公式
 
鲁鹏
 北京理工大学宇航学院
 2019.05.09
 
最近经常会遇到常数和向量对向量求导的计算，感觉需要总结点什么了。以后，我还会在这个文档中添加新的公式。
 
前提和定义
 
首先做如下定义，已知 $f(\mathbf{x})$ 是关于列向量 $\mathbf{x}=[x_1{x}_2...x_n{]}^T$ 的标量函数
 $$\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ ...\\ \frac{\partial f}{\partial x_n}\end{array}\right]$$
 
函数 $f(\mathbf{x})$ 在 $\mathbf{x}$ 处的梯度记为 $\nabla f(\mathbf{x})$，$\nabla f(\mathbf{x})=\partial f(\mathbf{x})/\partial \mathbf{x}$
 函数 $f(\mathbf{x})$ 在 $\mathbf{x}$ 处的Hesse矩阵是 $n\times n$ 矩阵记为 ${\nabla }^{2}f(\mathbf{x})$
 $${\nabla }^{2}f(\mathbf{x})=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& ...& \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& ...& \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ...& ...& ...& ...\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& ...& \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$
 
已知 $F(\mathbf{x})=[f_1(\mathbf{x})f_2(\mathbf{x})...f_m(\mathbf{x}){]}^T$ 是关于列向量 $\mathbf{x}$ 的向量值函数
 $$\frac{\partial F(\mathbf{x})}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& ...& \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& ...& \frac{\partial f_2}{\partial x_n}\\ ...& ...& ...& ...\\ \frac{\partial f_m}{\partial x_1}& \frac{\partial f_m}{\partial x_2}& ...& \frac{\partial f_m}{\partial x_n}\end{array}\right]$$
 
函数 $F(\mathbf{x})$ 在点 $\mathbf{x}$ 的雅克比矩阵记为 $J$，则 $J=\partial F(\mathbf{x})/\partial \mathbf{x}$，雅克比矩阵 $J$ 称为向量值函数 $F(\mathbf{x})$ 在 $\mathbf{x}$ 处的导数，也记作 $F^{\prime }(\mathbf{x})$ 或 $\nabla F(\mathbf{x}{)}^T$，其中 $\nabla F=[\nabla f_1\nabla f_2...\nabla f_m]$。
 已知向量 $\mathbf{a}=[a_1{a}_2{a}_3{]}^T$，则 $\mathbf{a}$ 的叉乘矩阵 ${\mathbf{a}}^{\times }$ 定义如下
 $${\mathbf{a}}^{\times }=\left[\begin{array}{ccc}0& -a_3& a_2\\ a_3& 0& -a_1\\ -a_2& a_1& 0\end{array}\right]$$
 
有了叉乘矩阵，向量叉乘可以像等式（1）那样表示
 $$\mathbf{a}\times \mathbf{b}={\mathbf{a}}^{\times }\mathbf{b}\text{\hspace{1em}(1)}$$
 
常用求导公式
 
在以上定义的基础上，可以总结以下常用的求导公式
 $$\frac{\partial \Vert \mathbf{a}\Vert }{\partial \mathbf{a}}=\frac{\partial a}{\partial \mathbf{a}}=\frac{\mathbf{a}}{a}\text{\hspace{1em}(2)}$$
 
$$\frac{\partial {\mathbf{a}}^T\mathbf{a}}{\partial \mathbf{a}}=\frac{\partial a^2}{\partial \mathbf{a}}=2\mathbf{a}\text{\hspace{1em}(3)}$$
 
$$\frac{\partial (A\mathbf{x})}{\partial \mathbf{x}}=A\text{\hspace{1em}(4)}$$
 
$$\frac{\partial {\mathbf{x}}^{T}A\mathbf{x}}{\partial \mathbf{x}}=(A+A^T)\mathbf{x}\text{\hspace{1em}(5)}$$
 
已知 $\mathbf{y}=\mathbf{a}\times \mathbf{b}+\mathbf{c}$，则
 $$\frac{\partial y}{\partial \mathbf{b}}=({\mathbf{a}}^{\times }{)}^T\frac{\mathbf{y}}{y}=-{\mathbf{a}}^{\times }\frac{\mathbf{y}}{y}\text{\hspace{1em}(6)}$$
 
$$\frac{\partial \alpha }{\partial \mathbf{r}}={\left[\begin{array}{ccc}\frac{\partial V_1}{\partial r_1}& \frac{\partial V_1}{\partial r_2}& \frac{\partial V_1}{\partial r_3}\\ \frac{\partial V_2}{\partial r_1}& \frac{\partial V_2}{\partial r_2}& \frac{\partial V_2}{\partial r_3}\\ \frac{\partial V_3}{\partial r_1}& \frac{\partial V_3}{\partial r_2}& \frac{\partial V_3}{\partial r_3}\end{array}\right]}^T\left[\begin{array}{c}\frac{\partial \alpha }{\partial V_1}\\ \frac{\partial \alpha }{\partial V_2}\\ \frac{\partial \alpha }{\partial V_3}\end{array}\right]={\left(\frac{\partial \mathbf{V}}{\partial \mathbf{r}}\right)}^T\frac{\partial \alpha }{\partial \mathbf{V}}\text{\hspace{1em}(7)}$$
 
$$\frac{d(\mathbf{a}\times \mathbf{b})}{dt}=\frac{d\mathbf{a}}{dt}\times \mathbf{b}+\mathbf{a}\times \frac{d\mathbf{b}}{dt}\text{\hspace{1em}(8)}$$
 
$$\frac{\partial [f(\mathbf{x})\mathbf{a}]}{\partial \mathbf{x}}=\mathbf{a}{\left[\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}\right]}^T\text{\hspace{1em}(9)}$$
 
已知 $\mathbf{\omega }=[{\omega }_1,{\omega }_2,{\omega }_3{]}^T$，$\mathbf{r}=[r_1,r_2,r_3{]}^T$，$I_3$ 是 $3\times 3$ 单位矩阵
 $$\frac{\partial [({\mathbf{r}}^T\mathbf{\omega })\mathbf{r}]}{\partial \mathbf{r}}=({\mathbf{r}}^T\mathbf{\omega })I_3+\mathbf{r}{\mathbf{\omega }}^T\text{\hspace{1em}(10)}$$
 
叉乘运算公式
 
已知 $\mathbf{\omega }=[{\omega }_1,{\omega }_2,{\omega }_3{]}^T$，$\mathbf{r}=[r_1,r_2,r_3{]}^T$
 $$\begin{array}{rl}\mathbf{\omega }\times (\mathbf{\omega }\times \mathbf{r})& ={\mathbf{\omega }}^{\times }{\mathbf{\omega }}^{\times }\mathbf{r}\\ & =\left[\begin{array}{ccc}-{\omega }_2^2-{\omega }_3^2& {\omega }_1{\omega }_2& {\omega }_1{\omega }_3\\ {\omega }_1{\omega }_2& -{\omega }_1^2-{\omega }_3^2& {\omega }_2{\omega }_3\\ {\omega }_1{\omega }_3& {\omega }_2{\omega }_3& -{\omega }_1^2-{\omega }_2^2\end{array}\right]\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]\end{array}\text{\hspace{1em}(11)}$$
 雅克比恒等式：$\mathbf{a}\times (\mathbf{b}\times \mathbf{c})=\mathbf{b}\times (\mathbf{a}\times \mathbf{c})+\mathbf{c}\times (\mathbf{b}\times \mathbf{a})$
 
拉格朗日公式：$\mathbf{a}\times (\mathbf{b}\times \mathbf{c})=(\mathbf{a}\cdot \mathbf{c})\mathbf{b}-(\mathbf{a}\cdot \mathbf{b})\mathbf{c}$

我们一般对函数求导，是对单变量求导，但是在机器学习中，会遇到多元函数对向量求导的情况，比如：
 $$f(\vec{w})=\frac{1}{2}||\vec{w}|{|}^2$$其中，$$\vec{w}=(w_1,w_2,\cdots ,w_n)$$
 
我们会看到在数学公式推导中会遇到函数对向量的求导：
 
$$\frac{\partial f(\vec{w})}{\partial \vec{w}}=\frac{\frac{1}{2}(w_1^2+w_2^2+\cdots +w_n^2)}{\partial \vec{w}}$$$$=\frac{\frac{1}{2}(w_1^2+w_2^2+\cdots +w_n^2)}{\partial (w_1,w_2,\cdots ,w_n)}$$$$=(\frac{\partial f(\vec{w})}{\partial w_1},\frac{\partial f(\vec{w})}{\partial w_2},\cdots ,\frac{\partial f(\vec{w})}{\partial w_n})$$$$=(w_1,w_2,\cdots ,w_n)=\vec{w}$$
 
所以我们可以看出，一个函数对于一个向量求导，得到一个向量，这个向量的每一维，相当于是这个函数对原始向量的每一维上的变量进行求导，本质上就是求了$f(\vec{w})$关于$\vec{w}$的梯度$\nabla f(\vec{w})$。

　在机器学习中的矩阵向量求导(一) 求导定义与求导布局中，我们讨论了向量矩阵求导的9种定义与求导布局的概念。今天我们就讨论下其中的标量对向量求导，标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。
 
　　　　对于本文中的标量对向量或矩阵求导这两种情况，如前文所说，以分母布局为默认布局。向量对向量求导，以分子布局为默认布局。如遇到其他文章中的求导结果和本文不同，请先确认使用的求导布局是否一样。另外，由于机器学习中向量或矩阵对标量求导的场景很少见，本系列不会单独讨论这两种求导过程。
 
1. 用定义法求解标量对向量求导
 
　　　　标量对向量求导，严格来说是实值函数对向量的求导。即定义实值函数f:Rn→Rf:Rn→R,自变量xx是n维向量，而输出yy是标量。对于一个给定的实值函数，如何求解∂y∂x∂y∂x呢？
 
　　　　首先我们想到的是基于矩阵求导的定义来做，由于所谓标量对向量的求导，其实就是标量对向量里的每个分量分别求导，最后把求导的结果排列在一起，按一个向量表示而已。那么我们可以将实值函数对向量的每一个分量来求导，最后找到规律，得到求导的结果向量。
 
　　　　首先我们来看一个简单的例子：y=aTxy=aTx,求解∂aTx∂x∂aTx∂x
 
　　　　根据定义，我们先对xx的第i个分量进行求导，这是一个标量对标量的求导，如下：
 
 
 
∂aTx∂xi=∂∑j=1najxj∂xi=∂aixi∂xi=ai∂aTx∂xi=∂∑j=

求导小技巧
 对矩阵求导是学习机器学习的第一步，如果不清楚如何求导机器学习的学习过程将是非常煎熬的，下面是总结的一个小技巧。这个方法是今天我在啃机器学习的时候发现了一个规律，然后对一些矩阵求导例子按照这种方式求导发现对以下案例而言结果是正确的，对其他的求导如果出现不对的地方，还请广大网友多多指正。
 ps:向量是矩阵的特殊形式，当强调行(列)矩阵时，将其写作为向量。
 求解规律如下：
 标量/矩阵形式的求导： 将分母中的所有元素对标量依次求导，排列顺序与分母排列顺序一致。
 矩阵/矩阵形式的求导： 将分子中的元素按照行优先的顺序排列程一个标量序列，按照标量/矩阵的求导方式求解并依次排序。
 下面是一些求导实例
 文章最后又介绍到函数求解公式以及复合函数求导。
 符号说明
 如果没有特殊说明，那么$\text{x}$为一个nx1的列向量，$\text{A}$为一个nxn的方阵。
 标量/向量
 $f(\text{x})$是向量x的函数$f(\text{x})=f(x_1,x_2,x_3,...,x_d)$
 $$\text{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ ⋮\\ x_d\end{array}\right]$$
 分子f(x)的第一个元素为标量$f(x_1,x_2,x_3,...,x_d)$，分母中所有元素对该元素求导，排列顺序与分母的排列方式一致
 $$\frac{df(x)}{d\text{x}}=\left[\begin{array}{c}\frac{df}{d{x}_1}\\ \frac{df}{d{x}_2}\\ \frac{df}{d{x}_3}\\ ⋮\\ \frac{df}{d{x}_d}\end{array}\right]\text{\hspace{1em}(2)}$$
 与公式(2)的求解方法一样，可以得到以下常用矩阵求导结果
 $$\frac{d{\text{y}}^{\text{T}}\text{x}}{d\text{x}}=\frac{d{\text{x}}^{\text{T}}\text{y}}{d\text{x}}=\text{y}\text{\hspace{1em}(3)}$$
 
$$\frac{d{\text{x}}^{\text{T}}\text{A}\text{x}}{d\text{x}}=(\text{A}+{\text{A}}^{\text{T}})\text{x}\text{\hspace{1em}(4)}$$
 
公式（3）以及公式（4）中的分子可以化成一个标量，实质上还是标量/向量的形式，求解过程略
 
标量/矩阵
 
f是一个标量，X是一个mxn的矩阵
 
$$\frac{df}{d\text{x}}=\left[\begin{array}{ccc}\frac{df}{d{x}_{11}}& \cdots & \frac{df}{d{x}_{1n}}\\ ⋮& \ddots & ⋮\\ \frac{df}{d{x}_{m1}}& \cdots & \frac{df}{d{x}_{mn}}\end{array}\right]\text{\hspace{1em}(5)}$$
 与(2)一样，利用分母对标量f进行求导,排列方式与分母一致
 
向量/向量
 先将分子分解成一个个标量，按照标量/向量的方式求解完毕后，在排序；排序方式：若分母是行向量，那么按列排序为新的矩阵，若分母是列向量，那么按照行排列成新的矩阵。
 求$\frac{d\text{Ax}}{d\text{x}}=?$
 A是mxd的矩阵，x是长度为d的列向量
 $$\text{Ax}=\left[\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2\cdots +a_{1d}{x}_d\\ a_{21}{x}_1+a_{22}{x}_2\cdots +a_{2d}{x}_d\\ ⋮\\ a_{m1}{x}_1+a_{m2}{x}_2\cdots +a_{md}{x}_d\end{array}\right]$$
 $\frac{d\text{Ax}}{d\text{x}}$ 的求导步骤如下
 step1: 第一个元素为$a_{11}{x}_1+a_{12}{x}_2\cdots +a_{1d}{x}_d$,
 分母对第一个元素的求导结果为$$\left[\begin{array}{c}{a}_{11}\\ a_{12}\\ ⋮\\ a_{1d}\end{array}\right]$$
 
step2: 第二个元素为$a_{21}{x}_1+a_{22}{x}_2\cdots +a_{2d}{x}_d$，
 分母对第二个元素的求导结果为$$\left[\begin{array}{c}{a}_{21}\\ a_{22}\\ ⋮\\ a_{2d}\end{array}\right]$$
 …
 stepm: 第m个元素为$a_{m1}{x}_1+a_{m2}{x}_2\cdots +a_{md}{x}_d$，
 分母对第m个元素的求导结果为$$\left[\begin{array}{c}{a}_{m1}\\ a_{m2}\\ ⋮\\ a_{md}\end{array}\right]$$
 将结果按照以上求解步骤中出现的顺序排列，最终结果如下
 $$\frac{d\text{Ax}}{d\text{x}}={\text{A}}^{\text{T}}\text{\hspace{1em}(6)}$$
 
与公式(4)求解步骤一样，可以得到以下矩阵求解结果
 $$\frac{d\text{x}}{d\text{x}}=\text{I}\text{\hspace{1em}(7)}$$
 
函数求导公式在向量中的应用
 $\frac{df(\text{x})g(\text{x})}{d\text{x}}=?$
 在标量求导中，$\frac{df(x)g(x)}{dx}=f(x)\frac{dg(x)}{dx}+g(x)\frac{df(x)}{x}$
 实际上，这一规则在向量求导中也存在。
 个人常用求导经验如下：
 1.确定求导之后矩阵的排布形式
 2.每一次拆解之后，矩阵之间的乘法与加法必须符合矩阵的运算法则，反之，则需要先尝试对调位置观察是否符合矩阵运算规则，再对非导数项进行转置观察是否符合矩阵运算规则。（注意这一步必须在拆解的时候使用，对调与转置只能进行其中一个变化，对调优先级高于转置）
 3.向量求导最终都可以分解成标量/向量的形式，进而求解。
 
示例1：按照乘法求导公式求解$\frac{d{\text{x}}^{\text{T}}\text{A}\text{x}}{d\text{x}}$
 
step1: 确定结果排布形式，分子为${\text{x}}^{\text{T}}\text{A}\text{x}$是一个标量，分母为$\text{x}$是一个列向量，最终的求导结果为一个列向量。
 step2： 检查分解之后的公式是否符合矩阵运算规则
 $$\frac{d{\text{x}}^{\text{T}}\text{A}\text{x}}{d\text{x}}=\frac{d{\text{x}}^{\text{T}}}{d\text{x}}\text{A}\text{x}+\frac{d\text{A}\text{x}}{d\text{x}}{\text{x}}^{\text{T}}$$
 加号左侧导数求解之后是一个单位矩阵，所以在左侧或者右侧都可以，但是加号右侧无法满足矩阵乘法规则
 ${\text{x}}^T$是一个1xn的矩阵，$\frac{d\text{A}\text{x}}{d\text{x}}$是一个nxn的矩阵，需要对加号右侧两个元素对调，如下：
 $$\frac{d{\text{x}}^{\text{T}}\text{A}\text{x}}{d\text{x}}=\text{A}\text{x}\frac{d{\text{x}}^{\text{T}}}{d\text{x}}+{\text{x}}^{\text{T}}\frac{d\text{A}\text{x}}{d\text{x}}$$
 但是这种方式使加法无法正常相加，再尝试转置进行解决
 $$\frac{d{\text{x}}^{\text{T}}\text{A}\text{x}}{d\text{x}}=\text{A}\text{x}\frac{d{\text{x}}^{\text{T}}}{d\text{x}}+\frac{d\text{A}\text{x}}{d\text{x}}\text{x}=\text{AXE}+{\text{A}}^T\text{x}=(\text{A}+{\text{A}}^T)\text{x}\text{\hspace{1em}(9)}$$
 step3: 简单验证一下，是列向量符合step1。
 可以看到结果与(4)一致。
 
示例2：按照链式求导法则求解$\frac{d(\text{Ax}{)}^T\text{AX}}{d\text{x}}$
 step1： 结果是列向量。
 step2： 检查是否符合运算规则
 $\frac{d(\text{Ax}{)}^T\text{AX}}{d\text{x}}=\frac{d{\text{u}}^T\text{u}}{d\text{u}}\frac{d\text{u}}{d\text{x}}$
 左侧是一个nx1的列向量，右侧是一个nxn的矩阵，显然不符合矩阵运算规则
 尝试对调，并计算
 $$\frac{d(\text{Ax}{)}^T\text{AX}}{d\text{x}}=\frac{d\text{u}}{d\text{x}}\frac{d{\text{u}}^T\text{u}}{d\text{u}}={\text{A}}^{T}2\text{u}={\text{A}}^{T}2\text{Ax}=2{\text{A}}^T\text{A}\text{x}\text{\hspace{1em}(10)}$$
 step3: 验证一下，是列向量。
 
有兴趣的网友可以利用乘法求导法则求一下示例2，可以发现结果是一致的。