矩阵向量求导

摘自：https://www.cnblogs.com/pinard/p/10825264.html，并加入了自己的一丢丢想法。

说明1

• 在矩阵向量求导中，可以采用定义法，微分法和链式求导法。
• 选择：优先选择链式求导法，其次选择微分法，最后使用定义法。
• 无论采用哪种方法都涉及到求导布局的问题，应首先掌握求导布局。

说明2

• 符号约定：
  • $x$小写字母表示标量。
  • $\mathbf{x}$小写黑体字母表示向量（默认是列向量）。
  • $X$大写字母表示矩阵。
• 求导布局约定：
  1. 标量对向量求导和标量对矩阵求导均采用分母布局，保证求导的结果使得和向量或矩阵同型。
  2. 向量对标量求导和矩阵对标量求导均采用分子布局，保证求导的结果使得和向量或矩阵同型。
  3. 向量对向量求导采用分子布局，即雅克比式
• 其他约定：
  • 不涉及以下求导
    1. 标量对标量求导【因为这个相比较其他的求导方式来说，简单了】
    2. 向量对矩阵的求导【遇到的不多】
    3. 矩阵对矩阵的求导【遇到的不多】
    4. 矩阵对矩阵的求导【遇到的不多】
    5. 想深入了解，请参见：https://www.cnblogs.com/pinard/p/10930902.html

1.定义法

• 标量对向量或对矩阵求导，采用分母布局；向量对向量求导采用分子布局。

1. 用定义法求解标量对向量求导

• 解决$\frac{标量}{向量}$。

• 标量对向量的求导，其实就是标量对向量里的每个分量分别求导，最后把求导的结果排列在一起，按一个向量表示而已。那么我们可以将实值函数对向量的每一个分量来求导，最后找到规律，得到求导的结果向量

  • 操作步骤：
    • 各个元素展开，并表示。【简单的元素好表示，复杂的就不怎么好表示了；这就是局限该方法的局限性】
    • 每个元素均进行求导操作。
    • 选定一种求导布局，排列好求导完各个元素的顺序。

举个例子

$\mathbf{y}={\mathbf{a}}^T\mathbf{x}$，求解$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$。

• 将标量（分子）完全展开

$$\frac{\partial \mathbf{y}}{\partial x_i}=\frac{\partial {\mathbf{a}}^T\mathbf{x}}{x_i}=\frac{\partial {\sum }_{j=1}^n{a}_j{x}_j}{\partial x_i}=a_i$$

• 因为采用分母布局，结果应该和分母（列向量）同型，所以
  $$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}$$

• 同理，采用分母布局计算$\frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}$：
  $$\frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}=\mathbf{a}$$

$\mathbf{y}={\mathbf{x}}^T\mathbf{x}$，求解$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$。

• 将标量（分子）完全展开
  $$\frac{\partial \mathbf{y}}{\partial x_i}=\frac{\partial {\mathbf{x}}^T\mathbf{x}}{x_i}=\frac{\partial \sum _{j=1}^n{x}_j{x}_j}{\partial x_i}=2x_j$$

• 因为采用分母布局，结果应该和分母（列向量）同型，所以

• $$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=2\mathbf{x}$$

$\mathbf{y}={\mathbf{x}}^{T}A\mathbf{x}$，求解$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$。

• 将标量（分子）完全展开
  $$\frac{\partial {\mathbf{x}}^{T}A\mathbf{x}}{\partial x_k}=\frac{\partial \sum _{i=1}^n\sum _{j=1}^n{x}_i{A}_{ij}{x}_j}{\partial x_k}=\sum _{i=1}^n{A}_{ik}{x}_k+\sum _{i=j}^n{A}_{jk}{x}_k=A^T\mathbf{x}+A\mathbf{x}$$

• 可以发现，这个最后写成矩阵表达形式不像上面那么简单。

  • 具体操作，相乘的地方用"十"字表示。

定义法求导对于简单的实值函数是很容易的，但是复杂的实值函数就算求出了任意一个分量的导数，要排列出最终的求导结果还挺麻烦的，因此我们需要找到其他的简便一些的方法来整体求导，而不是每次都先去针对任意一个分量，再进行排列。

2.用定义法求解标量对矩阵求导

• 解决$\frac{标量}{矩阵}$。

举个例子

$\mathbf{y}={\mathbf{a}}^{T}X\mathbf{b}$，求解$\frac{\partial {\mathbf{a}}^{T}X\mathbf{b}}{\partial X}$。$X_{m\ast n},{\mathbf{a}}_{m\ast 1},{\mathbf{b}}_{n\ast 1}$

• 将标量（分子）完全展开
  $$\frac{\partial {\mathbf{a}}^{T}X\mathbf{b}}{\partial X}=\frac{\partial \sum _{p=1}^m\sum _{q=1}^n{a}_p{X}_{pa}{b}_q}{\partial X_{ij}}=\frac{\partial a_i{X}_{ij}{b}_j}{\partial X_{ij}}=a_i{b}_j$$

• 采用分母布局，最终结果为$m\ast n$的矩阵。所以有
  $$\frac{\partial {\mathbf{a}}^{T}X\mathbf{b}}{\partial X}=\mathbf{a}{\mathbf{b}}^T$$

3.用定义法求解向量对向量的求导

• 解决$\frac{向量}{向量}$。

举个例子

$\mathbf{y}=A\mathbf{x}$，求解$\frac{\partial A\mathbf{x}}{\partial \mathbf{x}}$。$A_{m\ast n},{\mathbf{x}}_{n\ast 1},{\mathbf{y}}_{m\ast 1}$。

• 根据向量对向量的求导的结果应该为$m\ast n$维的矩阵。

• 先求矩阵的第$i$行和向量的内积对向量的第$j$分量求导，用定义法求解过程如下：
  $$\frac{\partial A_i\mathbf{x}}{\partial x_j}=\frac{\partial \sum _{k=1}^n{A}_{ik}{x}_k}{\partial x_j}=A_{ij}$$

• 矩阵 $A$的第$i$行和向量的内积对向量的第$j$分量求导的结果就是矩阵 $A$的$(i,j)$位置的值。

• 因为采用了分子布局，所以求导结果为$A$；而不是采用分母布局后的$A^T$。

  • 可见求导布局对于最后结果的输出的影响是很大的。结果上差一个转置。

小结

​ ==使用定义法虽然已经求出一些简单的向量矩阵求导的结果，但是对于复杂的求导式子，则中间运算会很复杂，=同时求导出的结果排列也是很麻烦。==所以需要引入微分法。

2. 微分法

• 使用微分法来求解标量对向量的求导，以及标量对矩阵的求导。
• 标量对向量的求导，以及标量对矩阵的求导使用分母布局。

1.矩阵微分

• 解决（$\frac{标量}{向量},\frac{标量}{矩阵}$）。

1.单变量

• 解决$\frac{标量}{标量}$，这里不做探讨。

• 单变量的微分和导入关系如下：
  $$df=f^{\prime }(x)dx$$

2.多变量

• 解决$\frac{标量}{向量}$

• 多元变量下的微分和导数的关系如下：
  $$df=\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i=(\frac{\partial f}{\partial \mathbf{x}}{)}^{T}d\mathbf{x}$$

3.矩阵微分

• 解决$\frac{标量}{矩阵}$

• 矩阵下的微分和导数的关系如下：
  $$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d{X}_{ij}=tr((\frac{\partial f}{X}{)}^{T}dX)$$

迹函数

$$\sum _{i=1}^m\sum _{j=1}^n{A}_{ij}{B}_{ji}=tr(A^{T}B)$$

• 其中$A,B$同型。

• 举个例子：
  $$\begin{gathered} X=\left(\begin{array}{cc}{x}_{11}& x_{12}\\ x_{21}& x_{22}\\ x_{31}& x_{31}\end{array}\right) \\ dX=\left(\begin{array}{cc}d{x}_{11}& d{x}_{12}\\ d{x}_{21}& d{x}_{22}\\ d{x}_{31}& d{x}_{31}\end{array}\right) \\ \therefore df=\frac{\partial f}{\partial x_{11}}d{x}_{11}+\frac{\partial f}{\partial x_{21}}d{x}_{21}+\frac{\partial f}{\partial x_{31}}d{x}_{31}+\frac{\partial f}{\partial x_{12}}d{x}_{12}+\frac{\partial f}{\partial x_{22}}d{x}_{22}+\frac{\partial f}{\partial x_{32}}d{x}_{32} \end{gathered}$$

  $$\therefore df=tr({\left(\begin{array}{cc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{12}}\\ \frac{\partial f}{\partial x_{21}}& \frac{\partial f}{\partial x_{22}}\\ \frac{\partial f}{\partial x_{31}}& \frac{\partial f}{\partial x_{23}}\end{array}\right)}^T\left(\begin{array}{cc}d{x}_{11}& d{x}_{12}\\ d{x}_{21}& d{x}_{22}\\ d{x}_{31}& d{x}_{31}\end{array}\right))$$

  其中：
  $${\left(\begin{array}{cc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{12}}\\ \frac{\partial f}{\partial x_{21}}& \frac{\partial f}{\partial x_{22}}\\ \frac{\partial f}{\partial x_{31}}& \frac{\partial f}{\partial x_{23}}\end{array}\right)}^T\left(\begin{array}{cc}d{x}_{11}& d{x}_{12}\\ d{x}_{21}& d{x}_{22}\\ d{x}_{31}& d{x}_{31}\end{array}\right)=\left(\begin{array}{cc}\frac{\partial f}{\partial x_{11}}d{x}_{11}+\frac{\partial f}{\partial x_{21}}d{x}_{21}+\frac{\partial f}{\partial x_{31}}d{x}_{31}& \ast \\ \ast & \frac{\partial f}{\partial x_{12}}d{x}_{12}+\frac{\partial f}{\partial 22}d{x}_{22}+\frac{\partial f}{\partial x_{32}}d{x}_{32}\end{array}\right)$$
  所以：
  $$df=tr((\frac{\partial f}{X}{)}^{T}dX)$$

统一表示

• 上面矩阵微分的式子，可以看到矩阵微分和它的导数也有一个转置的关系，不过在外面套了一个迹函数而已。由于标量的迹函数就是它本身，那么矩阵微分和向量微分可以统一表示。即:
  $$\begin{gathered} 向量微分:df=tr((\frac{\partial f}{\partial \mathbf{x}}{)}^{T}d\mathbf{x}) \\ 矩阵微分:df==tr((\frac{\partial f}{X}{)}^{T}dX) \end{gathered}$$

2.矩阵微分性质和迹函数的性质

矩阵微分的性质

• 在后面的求导中有运用。

1. 微分加减法：$d(X+Y)=dX+dY$。
2. 微分乘法：$d(XY)=(dX)Y+X(dY)$。
3. 微分转置：$d(x^T)=(dX{)}^T$。
4. 微分的迹：$tr(dX)=d(tr(X))$。
5. 微分的哈达玛积：$d(X\odot Y)=d(X)\odot d(Y)$。
6. 逐个元素求导：$d({\sigma }^{\prime }(X))={\sigma }^{\prime }(X)\odot d(X)$。
7. 逆矩阵微分：$d(X^{-1})=-X^{-1}d(X)X^{-1}$。
8. 行列式微分：$d(|X|)=|X|tr(X^{-1}dX)$。

说明：

1. 其中的哈达玛积的计算，一般表示为$A\odot B$或$A\circ B$，参考百度即可：哈达玛积
2. 上述的逆矩阵的微分和行列式的微分，个人并没有推导。

迹函数的性质

• 在后面的求导中有运用。

1. 标量的迹等于它本身：$tr(y)=y$。
2. 矩阵转置不改变迹的值：$tr(A^T)=tr(A)$。
3. 迹满足交换律：$tr(AB)=tr(BA)$，其中$A,B^T$同型。
4. 迹的加减法：$tr(X+Y)=tr(X)+tr(Y);tr(X-Y)=tr(X)-tr(Y)$。
5. 矩阵乘法和迹交换：$tr((A\odot B{)}^T\odot C)=tr(A^T(B\odot C))$。其中$A,B,C$同型。

3.使用微分法对矩阵向量求导

1.法则

​ 若标量函数$f$是矩阵$X$经加减乘法、逆、行列式、逐元素函数等运算构成。

1. 则使用相应的运算法则对$f$求微分。
2. 再使用迹函数技巧给$df$套上迹。
3. 并将其它项交换至$dX$左侧。
4. 那么对于迹函数里面在$dX$左边的部分，我们只需要加一个转置就可以得到导数了。

2.例子

例1

$y=a^{T}Xb$，求$\frac{\partial y}{\partial X}$。$a_{m\ast 1},X_{m\ast n},b_{n\ast 1},y_{1\ast 1}$。类型$\frac{标量}{矩阵}$，$y$是一个标量，$dy$也是一个标量。

求解步骤：

1. 使用微分法的乘法对$f$求微分。
   $$dy=d(a^T)Xb+a^{T}d(X)b+a^{T}Xd(b)=a^{T}d(X)b$$

   • 因为最终是对$X$求导（$dX$），那么微分中不含$dX$的最终结果都为$0$。

2. 等式两边进行取迹（$tr$）操作。
   $$dy=tr(dy)=tr(a^{T}d(X)b)=tr(b{a}^{T}d(X))$$

   • 第一个等式成立是因为，标量的迹等于它本身，
   • 第二等式成立是因为，那本身等式的两边取迹。
   • 第三个等式成立是为，迹函数的性质三。

3. 已经将$dX$放在迹内的最右侧了，那么其前面的部分加上转置就是求导后的结果。
   $$\frac{\partial f}{\partial X}=(b{a}^T{)}^T=a{b}^T$$
   查表Scalar-by-matrix identities的第8行，结果一致。采用分母布局。

例2

$y=a^{T}exp(Xb)$，求$\frac{\partial y}{\partial X}$。$a_{m\ast 1},X_{m\ast n},b_{n\ast 1},y_{1\ast 1}$。类型$\frac{标量}{矩阵}$，$y$是一个标量，$dy$也是一个标量。

1. $$\begin{gathered} dy=d(a)exp(Xb)+a^{T}d(exp(Xb)) \\ =a^{T}d(exp(Xb)) \\ =a^{T}exp(Xb)\odot d(Xb) \\ =a^{T}exp(Xb)\odot (d(X)b) \end{gathered}$$

   1. 第三个等式成立，是很显然的，用到哈达玛积。
   2. 第四个等式成立，目标是要剥离出$dX$,同时这样的写法是没用问题的。$b$对于$X$来说是常数。可以展开来详细看看。

2. $$\begin{gathered} dy=tr(dy)=tr(a^{T}exp(Xb)\odot (d(X)b)) \\ =tr((a\odot exp(Xb){)}^T(d(X)b)) \\ =tr((a\odot exp(Xb){)}^{T}dXb) \\ =tr(b(a\odot exp(Xb){)}^{T}dX) \end{gathered}$$

   1. 第一个等号是因为，标量的迹等于它本身。
   2. 第三个等号成立是因为，迹函数的技巧5，矩阵乘法和迹交换.
   3. 第六个等号成立是因为，去掉$dX$的符号和原来一样，目标也是要把$dX$给剥离出来。
   4. 最后一个等号成立是因为，迹的交换律。

3. 所以最终结论为：
   $$\frac{\partial y}{\partial X}=(b(a\odot exp(Xb){)}^T{)}^T=(a\odot exp(Xb))b^T$$

4.使用迹函数对矩阵向量求导

1.基本形式

$\frac{\partial tr(AB)}{\partial A}$，其中$A_{m\ast n},B_{n\ast m}$。$tr(AB{)}_{(1\ast 1)}$是个标量。类型$\frac{标量}{矩阵}$。

1. 展开
   $$d(tr(AB))=tr(d(AB))=tr(d(A)B+AdB)=tr(d(A)B)=tr(BdA)$$

   1. 第一个等式成立是以为，$d$操作和$tr$操作可以互换。矩阵微分性质4，微分的迹。
   2. 第二个等式成立是因为，矩阵微分2，微分乘法。
   3. 第三个等式成立是因为，做种求的是关于$dA$，所以不含$d(A)$的项最终值均为$0$，故舍去。
   4. 第四个等式成立是因为，迹函数技巧3，迹的交换律。

2. 结果，加个转置
   $$\frac{\partial tr(AB)}{\partial A}=B^T$$

$\frac{\partial tr(AB)}{\partial B}$，其中$A_{m\ast n},B_{n\ast m}$。$tr(AB{)}_{(1\ast 1)}$是个标量。

• $$\frac{\partial tr(AB)}{\partial B}=A^T$$

2.例子

$\frac{\partial tr(W^{T}AW)}{\partial W}=\frac{\partial (W^{T}AW)}{\partial W}$。$W_{n\ast 1},A_{n\ast n}$,$W^{T}A{W}_{(1\ast 1)}$是一个标量。类型$\frac{标量}{向量}$

1. $$\begin{gathered} d(tr(W^{T}AW))=tr(d(W^{T}AW)) \\ =tr(d(W^T)AW+W^{T}Ad(W)) \\ =tr((d(W{)}^{T}AW+W^{T}Ad(W)) \\ =tr((d(W){)}^{T}AW)+tr(W^{T}Ad(W)) \\ =tr((AW{)}^{T}d(W))+tr(W^{T}Ad(W)) \end{gathered}$$

2. 所以,
   $$\frac{\partial tr(W^{T}AW)}{\partial W}=((AW{)}^T{)}^T+(W^{T}A{)}^T=AW+A^{T}W=(A+A^T)W$$

小结

1. 使用矩阵微分，可以在不对向量或矩阵中的某一元素单独求导再拼接，因此会比较方便，当然熟练使用的前提是对上面矩阵微分的性质，以及迹函数的性质熟练运用。
2. 还有一些场景，求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。如果我们可以利用一些常用的简单求导结果，再使用链式求导法则。

3.链式法

​ 求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。使用矩阵向量求导链式法则，快速求出导数结果。

• 标量对向量的求导，标量对矩阵的求导使用分母布局， 向量对向量的求导使用分子布局。

1.向量对向量的求导法则

假设存在多个向量的依赖关系，如$\mathbf{x}\to \mathbf{y}\to \mathbf{z}$。其中${\mathbf{x}}_{p\ast 1},{\mathbf{y}}_{m\ast 1},{\mathbf{z}}_{n\ast 1}$。

• $\frac{\partial \mathbf{z}}{\partial \mathbf{x}}$应该是$(n\ast p)$维。采用分子布局，雅克比式。

• 所以有：
  $$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{z}}{\partial \mathbf{y}}\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$
  注意：这个写法只在全是向量的依存关系时，才是对的。

• 拓展：$\mathbf{x}\to {\mathbf{y}}_1\cdots \to {\mathbf{y}}_{\mathbf{n}}\to \mathbf{z}$。
  $$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{z}}{\partial {\mathbf{y}}_{\mathbf{n}}}\frac{\partial {\mathbf{y}}_{\mathbf{n}}}{\partial {\mathbf{y}}_{\mathbf{n}-1}}\cdots \frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$

2.标量对多个向量的链式求导法则

​ 在机器学习算法中，最终要优化的一般是一个标量损失函数，因此最后求导的目标是标量。所以这个更常用一点。

假设存在多个向量的依赖关系，如$\mathbf{x}\to \mathbf{y}\to z$。其中${\mathbf{x}}_{p\ast 1},{\mathbf{y}}_{m\ast 1},{\mathbf{z}}_{1\ast 1}$。$z$是标量。

• $\frac{\partial z}{\partial \mathbf{x}}$应该是$(p\ast 1)$维。采用分母布局。

• $\frac{\partial z}{\partial \mathbf{y}}$是$(m\ast 1)$维，采用分母布局。$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$是$(m\ast p)$维。

• 要使上述的链式求导时维度可以相容，即
  $$维{度}_{p\ast 1}=维{度}_{p\ast m}\ast 维{度}_{m\ast 1}$$

  $$\frac{\partial z}{\partial \mathbf{x}}=(\frac{\partial \mathbf{y}}{\partial \mathbf{x}}{)}^T\frac{\partial z}{\partial \mathbf{y}}$$

• 推论：$\mathbf{x}\to {\mathbf{y}}_1\cdots \to {\mathbf{y}}_{\mathbf{n}}\to z$。
  $$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=(\frac{\partial {\mathbf{y}}_{\mathbf{n}}}{\partial {\mathbf{y}}_{\mathbf{n}-1}}\frac{\partial {\mathbf{y}}_{\mathbf{n}-1}}{\partial {\mathbf{y}}_{\mathbf{n}-2}}\cdots \frac{\partial {\mathbf{y}}_1}{\partial \mathbf{x}}{)}^T\frac{\partial z}{\partial {\mathbf{y}}_{\mathbf{n}}}$$

例子

设有列向量$\theta$，列向量$\mathbf{z}=X\theta -\mathbf{y}$，标量$l=z^{T}z$。${\theta }_{n\ast 1},X_{m\ast n},{\mathbf{y}}_{m\ast 1},l_{1\ast 1}$。

构成：$\theta \to \mathbf{z}\to l$，求$\frac{\partial l}{\partial \theta }$
$$\frac{\partial l}{\partial \theta }=(\frac{\partial \mathbf{z}}{\partial \theta }{)}^T\frac{\partial l}{\partial \mathbf{z}}$$

• $$\frac{\partial \mathbf{z}}{\partial \theta }=\frac{\partial (X\theta -\mathbf{y})}{\partial \theta }=\frac{\partial (X\theta )}{\partial \theta }=\frac{向量}{向量}=X$$

  • 采用分子布局，$\frac{\partial (X\theta )}{\partial \theta }$是($m\ast n$)维。所以结果是$X_{m\ast n}$，而不是$X^T$。

• $$\frac{\partial l}{\partial \mathbf{z}}=\frac{\partial z^{T}z}{\partial z}=\frac{标量}{向量}=2z$$

  • 这个计算，可以用定义法求解。前面已经求过了。

• $$\frac{\partial l}{\partial \theta }=(\frac{\partial \mathbf{z}}{\partial \theta }{)}^T\frac{\partial l}{\partial \mathbf{z}}=X^T(2\mathbf{z})=2X^T(X\theta -\mathbf{y})$$

3.标量对多个矩阵的链式求导法则

假设有$X\to Y\to z$。其中$X_{p\ast q},Y_{m\ast n},z_{1\ast 1}$。$X,Y$是矩阵，$z是标量。求网络的参数。

• 矩阵对矩阵的求导是比较复杂的定义，不给出基于矩阵整体的链式求导法则。参考

• 给出对矩阵中一个标量的链式求导方法。

• 虽然我们没有全局的标量对矩阵的链式求导法则，但是对于一些线性关系的链式求导，还是可以得到一些有用的结论的。
  $$\frac{\partial z}{\partial x_{ij}}=\sum _{k,l}\frac{\partial z}{\partial Y_{kl}}\frac{\partial Y_{kl}}{\partial x_{ij}}=tr((\frac{\partial z}{\partial Y}{)}^T\frac{\partial Y}{\partial x_{ij}})$$

  • 其中$k,l$分别从$Y$的行数和列数中取值（或列数和行数）。
  • 第一等式成立是以为，在$X$中的一个元素$x_{ij}$都和$Y$中的元素$y_{kl}$相关。同时对于$Y$的某个确定的$y_{k_{\ast }{l}_{\ast }}$。$y_{k_{\ast }{l}_{\ast }}$总是和$z$相关。所以出现对$Y$中的每个元素对$x_{ij}$求导，$z$对每个$Y$中的元素求导，然后用链式穿起来（因为都是标量，所以谁前谁后没关系）。
  • 第二等式成立是以为，前面矩阵微分已经详细说明了，并且举了例子。

经典例子

设$A,X,B,Y$都是矩阵，$z$是标量，其中$z=f(Y),Y=AX+B$。求$\frac{\partial z}{\partial X}$就是经典的机器学习中问题。$A$是参数矩阵，$X$是数据集构成的矩阵。其中$X_{m\ast n},A_{p\ast m},Y_{p\ast n},z_{1\ast 1},B_{p\ast n}$。

1. 标量的链式求导法则求$\frac{\partial z}{\partial x_{ij}}$。
   $$\frac{\partial z}{\partial x_{ij}}=\sum _{k,l}\frac{\partial z}{\partial Y_{kl}}\frac{\partial Y_{kl}}{\partial x_{ij}}$$

2. 对于$\frac{\partial Y_{kl}}{\partial x_{ij}}$。
   $$\begin{gathered} \frac{\partial Y_{kl}}{\partial x_{ij}}=\frac{\partial \sum _s(A_{ks}{x}_{sl})}{\partial x_{ij}}=\frac{\partial (A_{ki}{x}_{il})}{\partial x_{ij}}=\{\begin{array}{l}{A}_{ki},l=j\\ 0,l\ne j\end{array}=A_{ki}{\delta }_{lj}. \\ 当l=j时，{\delta }_{lj}=1;当l\ne j时,{\delta }_{lj}=0. \end{gathered}$$

   1. 第一个等号成立是因为，为了方便第二个等式的推导。其实没必要给出，给出的目的只是为了强化矩阵的乘法。
      • 算的的标量的求导，那么对于$x_{ij}$的偏导一定是一个变量，说白了就是矩阵相乘时$x_{ij}$前的系数。这个系数的计算肯定用到矩阵的乘法。
   2. 第二个等式成立是因为：
      • $X$和$A$相乘，现在已经知道是对$X_{ij}$求导，它在第$i$行出现，对应的$A_{kl}$一定在第$i$列。所以$s=i$。所以锁定$A_{ki}$。其中的$k$是已经确定的，相当于知道了是$A$的第$k$行。
      • 与$A_{ki}$相乘的元素，对应$X$中的第$i$行，可以表示为$A_{ki}{x}_{il}$,$l$取尽$X$中的所有列。因为要求的是$x_{ij}$的导数，所以在$l=j$时，对它的导数为$A_{ki}$，在$l\ne j$时，对它的导数$0$。

3. 所以
   $$\frac{\partial z}{\partial x_{ij}}=\sum _{k,l}\frac{\partial z}{\partial Y_{kl}}\frac{\partial Y_{kl}}{\partial x_{ij}}=\sum _k\frac{\partial z}{\partial Y_{kj}}{A}_{ki}{\delta }_{lj}=\sum _k\frac{\partial z}{\partial Y_{kj}}{A}_k$$

   • 第二个等式成立是因为，取尽所有$Y$中的列数得出的结果。
     • $l\ne j$时，$\delta$为$0$。$l=j$时，$\delta$为$1$。
   • 第三个等式成立是因为，去掉$\delta$并不会该变其值。因为$\delta$的取值只有$0或1$。

4. 对于${\sum }_k\frac{\partial z}{\partial Y_{kj}}{A}_{ki}$。

   • 这个可以写成矩阵的表达形式。

   • 以为是对$k$进行遍历求和，而给出的只有$(k\ast i)$和$(k\ast l)$。通过矩阵相乘的概念，$k$应该出现在矩阵相乘维度相容的中间，即$(i\ast k)和(k\ast l)$或$(l\ast k)和\ast (k\ast i)$。

   • 若采用$(i\ast k)和(k\ast l)$，矩阵$A^T$的第$i$行和$\frac{\partial z}{\partial Y}$的第$j$列的内积。
     $$\frac{\partial z}{\partial X}=A^T\frac{\partial z}{\partial Y}$$

     • 因为采用分布分母布局，所以$\frac{\partial z}{\partial X}$应该是$m*n维的。
       • $A^T$是$m\ast p$的，$\frac{\partial z}{\partial Y}$是$p\ast n$的。
       • 所以上述是维度是匹配的（相容的）。

   • 若采用$(l\ast k)和(k\ast i)$，矩阵$(\frac{\partial z}{\partial Y}{)}^T$的第$l$行和$A$的第$i$列的内积。
     $$\frac{\partial z}{\partial X}=(\frac{\partial z}{\partial Y}{)}^{T}A$$

     • 因为采用的是分母布局，所以上述的表达式维度相容，故舍去。

结论

• 约定：采用分母布局。

结论1

1. 设$A,X,B,Y$都是矩阵，$z$是标量，其中$z=f(Y),Y=AX+B$。求$\frac{\partial z}{\partial X}$。

$$z=f(Y),Y=AX+B$$

​ 则
$$\frac{\partial z}{\partial X}=A^T\frac{\partial z}{\partial Y}$$
​ 2. 设$A$都是矩阵，$\mathbf{x},\mathbf{y},b$是向量，$z$是标量，其中$z=f(Y),Y=A\mathbf{x}+b$。求$\frac{\partial z}{\partial \mathbf{x}}$。
$$z=f(Y),Y=A\mathbf{x}+b$$

$$\frac{\partial z}{\partial \mathbf{x}}=A^T\frac{\partial z}{\partial \mathbf{y}}$$

结论2

• 如果要求导的自变量在左边，线性变换在右边，也有类似稍有不同的结论如下

1. 设$A,X,B,Y$都是矩阵，$z$是标量，其中$z=f(Y),Y=XA+B$。求$\frac{\partial z}{\partial X}$。
   $$z=f(Y),Y=XA+B$$

   $$\frac{\partial z}{\partial X}=\frac{\partial z}{\partial Y}{A}^T$$

2. 设$X$是矩阵，$\mathbf{a},\mathbf{y},b$是向量，$z$是标量，其中$z=f(Y),Y=X\mathbf{a}+b$。求$\frac{\partial z}{\partial \mathbf{x}}$。
   $$z=f(Y),Y=X\mathbf{a}+b$$

   $$\frac{\partial z}{\partial X}=\frac{\partial z}{\partial \mathbf{y}}{\mathbf{a}}^T$$

技巧

• 无论自变量在那边，均采用分母布局的方式处理$\frac{标量}{矩阵}$。
• $\frac{\partial z}{\partial X}=参数矩{阵}^T\ast \frac{\partial z}{\partial Y}$或$\frac{\partial z}{\partial X}=\frac{\partial z}{\partial Y}\ast 参数矩{阵}^T$。至于是那种形式，根据矩阵相乘时的维度相容即可判别。

小结

• 在同等情况下，优先考虑链式求导法，尤其后面的的四个结论。其次选择微分法、最后考虑定义法。
• 没有结局的问题是，矩阵对矩阵的求导，还有矩阵对向量，向量对矩阵求导这三种形式。这个遇到的不多，具体参考：https://www.cnblogs.com/pinard/p/10930902.html。
• 常见的形式是：$\frac{标量}{标量},\frac{标量}{向量},\frac{标量}{矩阵},\frac{向量}{标量},\frac{向量}{向量},\frac{矩阵}{标量}$。
  • 重点：$\frac{标量}{向量},\frac{标量}{矩阵},\frac{向量}{向量}$。
• （矩阵微分性质+迹函数技巧）是真的强大，，矩阵向量链式求导法则（向量对多个向量求导，标量对多个向量求导，标量对多个矩阵的求导）【维度相容】。

参考：

这个是真的大佬！

1. 求导定义与求导布局
2. 矩阵向量求导之定义法
3. 矩阵向量求导之微分法
4. 矩阵向量求导链式法则
5. 矩阵对矩阵的求导

最近在做优化时遇到求多元函数的hessian矩阵问题，问题描述及求解如下：

注：hessian矩阵的计算方法为 求梯度向量的Jacobian矩阵
计算法则参考《工程矩阵理论–第2版–张明淳》第181页

注：复合函数为向量值函数。

链式求导法则

若： $m, p, n \in \mathbb N, m, p, n \ge 1,$
$\mathbf{f}_{m \times 1} = \begin{pmatrix} f_1\\ \vdots\\ f_m \end{pmatrix} : {\mathbb R}^p \rightarrow {\mathbb R}^m, \mathbf{g}_{p \times 1} = \begin{pmatrix} g_1\\ \vdots\\ g_p \end{pmatrix} : {\mathbb R}^n \rightarrow {\mathbb R}^p,$
$\mathbf{z}_{m \times 1} = \mathbf{f}(\mathbf{y}_{p \times 1}), \mathbf{y}_{p \times 1} = \mathbf{g}(\mathbf{x}_{n \times 1}),$
$\operatorname{d} \mathbf{z} = f'(\mathbf{y}) \operatorname{d} \mathbf{y}, \frac {\operatorname{d} \mathbf{y}}{\operatorname{d} \mathbf{x}} = (\frac {\partial y_i}{\partial x_j})_{p \times n},$

则： $\frac {\operatorname{d} \mathbf{z}}{\operatorname{d} \mathbf{x}} = f'(g(\mathbf{x}))g'(\mathbf{x})$

证明：
$\forall i \in \mathbb N, 1 \le i \le m,$
$\Delta z_i = \sum _{k = 1}^ {p} \frac {\partial z_i}{\partial y_k}\Delta y_k + \sqrt {\sum _{k = 1}^ {p} {\Delta y_k}^2} \cdot \alpha _i(\mathbf{y}, \Delta \mathbf{y})$
其中 $\Delta \mathbf{y} = 0$ 时 $\alpha _i(\mathbf{y}, \Delta \mathbf{y}) = 0,$ 且 $\lim _{\Delta \mathbf{y} \rightarrow 0} \alpha _i(\mathbf{y}, \Delta \mathbf{y}) = 0$
则：$\forall j \in \mathbb N, 1 \le j \le n,$
$\frac { \Delta z_i }{ \Delta x_j } = \sum _{k = 1}^ {p} \frac {\partial z_i}{\partial y_k} \frac { \Delta y_k }{ \Delta x_j } + \frac { | \Delta x_j | }{ \Delta x_j } \cdot \sqrt {\sum _{k = 1}^ {p} {(\frac { \Delta y_k }{ \Delta x_j })}^2} \cdot \alpha _i(\mathbf{y}, \Delta \mathbf{y})$
易知： $\lim _{\Delta x_j \rightarrow 0} \Delta \mathbf{y} = 0,$ 则 $\lim _{\Delta x_j \rightarrow 0} \alpha _i(\mathbf{y}, \Delta \mathbf{y}) = 0$
于是： $\frac { \partial z_i }{ \partial x_j } = \lim _{\Delta x_j \rightarrow 0} \frac { \Delta z_i }{ \Delta x_j } = \sum _{k = 1}^ {p} \frac {\partial z_i}{\partial y_k} \frac { \partial y_k }{ \partial x_j }$
即 $(\frac {\operatorname{d} \mathbf{z}}{\operatorname{d} \mathbf{x}})_{ij} = \sum _{k = 1}^{p} (f'(g(\mathbf{x})))_{ik} (g'(\mathbf{x}))_{kj}$

一阶全微分的形式不变性

$\operatorname{d} \mathbf{z} = f'(g(\mathbf{x}))g'(\mathbf{x}) \operatorname{d} \mathbf{x} = f'(\mathbf{y}) \operatorname{d} \mathbf{y}$