在机器学习的各种关于向量或者矩阵的求导中，经常会出现各种需要转置或者不需要转置的地方，经常会看得人晕头转向。今天我对机器学习中关于这部分的常识性处理方法进行整理并记录下来方便大家参考。

一些约定

首先，在机器学习中，对于研究经常需要用到的标量、向量、矩阵的求导，我们约定分子使用

表示， 分母使用

表示。其中，分子的标量形式为

，分子的向量形式表示为

，分子的矩阵形式表示为

；类似的，分母的标量形式为

，分母的向量形式表示为

，分母的矩阵形式表示为

。

根据上面的约定，我们研究一下五个分类(标号1-标号5对应后续标题)。如下：

上面的表格表示我们主要讨论的6个种类，对于矩阵对向量的求导

、向量对矩阵的求导

、矩阵对矩阵的求导

不予考虑。

分子布局、分母布局

在机器学习中，我们默认向量用列向量表示，对于行向量的各种运算相同，只要转置一下就可以了。

对于向量和矩阵的求导，实际上依旧类似于正常的实数求导，只不过对于向量或者矩阵的每一个分量的求导结果，按照向量或者矩阵的形式进行排列罢了。

由此引出两种布局方式，一种叫做分子布局(numerator layout)，另一种叫做分母布局(denominator layout)。所谓XX布局，即是指在做求导运算的时候，最终的求导结果的分布和XX部分保持一致，如果需要转置，则对YY部分进行转置。如果分子布局，且分子有m行，则求导结果也是m行；如果分母布局，且分母有n行，则求导结果也是n行。反之，对于分母布局，如果分子有m行，则求导结果将有m列；对于分子布局，如果分母有n行，则结果将包含n列。

是不是有点绕？没事，接着看看实例就明白了……

1.向量对标量求导向量对标量求导 - 分子布局

向量对标量求导，使用分子布局：则在求导过程中，求导结果按列展开，逐个进行求导运算，结果仍然是列向量。

向量对标量求导 - 分母布局

向量对标量求导，使用分母布局：则在求导过程中，求导结果按行展开，逐个进行求导运算，结果呈行向量。

2.标量对向量求导标量对向量求导 - 分子布局

标量对向量求导，使用分子布局：则在求导过程中，求导结果按行展开，逐个进行求导运算，结果呈行向量。

标量对向量求导 - 分母布局

标量对向量求导，使用分母布局：则在求导过程中，求导结果按列展开，逐个进行求导运算，结果保持列向量形式。

3. 矩阵对标量求导矩阵对标量求导 - 分子布局

矩阵对标量求导，使用分子布局：则在求导过程中，对矩阵的每个元素分别进行求导，按照矩阵的排列方式进行组合，组成导数结果矩阵。

例如对于矩阵

, 求导结果仍然是

，具体如下所示：

矩阵对标量求导 - 分母布局

矩阵对标量求导，使用分母布局：则在求导过程中，对矩阵的每个元素分别进行求导，按照矩阵的转置进行组合，组成导数结果矩阵，与原矩阵行列大小翻转。

例如对于矩阵

, 求导结果是

，具体如下所示：

4. 标量对矩阵求导标量对矩阵求导 - 分子布局

标量对矩阵求导，使用分子布局：则在求导的结果中，因为矩阵处于分母位置，结果呈现对原矩阵的翻转形式。

例如对于矩阵

, 求导结果为

，具体如下所示：

标量对矩阵求导 - 分母布局

标量对矩阵求导，使用分母布局：则在求导的结果中，因为矩阵处于分母位置，结果与分母的矩阵大小保持一致。

例如对于矩阵

, 求导结果为

，具体如下所示：

5. 向量对向量求导

前面介绍的四类相对来说比较容易理解，因为分子分母没有同时呈现向量或矩阵形式，其中之一以标量的形式出现，这样就方便理解。接下来的向量与向量之间的运算相对来说困难一丢丢。向量对向量求导 - 分子布局

向量对向量求导，使用分子布局：则分子的向量按列展开，分母的向量按行展开。最终求导运算的结果以矩阵形式出现，如何理解呢？对于分子的向量，如果我们计算其中每个元素(标量)对向量的求导结果，结果将会是一个向量。多个向量进行堆叠，结果呈现形式就会是一个矩阵。但是矩阵首先是按照分子的顺序进行运算呢还是按照分母的顺序进行运算呢？答案是都可以，两种不同的运算形式就是分子布局和分母布局的差别。如下所示：

若

则分子布局表示结果仍然按照分子的行进行表示，每一行的运算则是对

转置分别求导计算出来的 。具体如下：

其中，每一个元素(标量)对分母上列向量的求导仍然是分子布局(参见[标量对向量求导-分子布局]) 即对其进行翻转，这样，每一行将包含长度为

的行向量。最终结果将是一个

大小的矩阵如下所示：

数学上将这种矩阵称之为雅克比 (Jacobian)矩阵，常用符号

进行表示。向量对向量求导 - 分母布局

相反，向量对向量求导，使用分母布局：则分母列不变，分子按行展开，逐个参与运算，结果呈现

的矩阵。如下所示：

若

分母布局表示将分子进行逐个按列的求导(分母布局，结果呈现为列向量，参见[标量对向量求导-分母布局])，结果呈现为列向量。然后对分子上向量中的每个元素，横向进行堆叠，共堆叠m列。因此最终结果为一个

的矩阵。

具体如下：

其中，每一个元素(标量)对分母上列向量的求导仍然是分母布局，即仍然是列向量，对分子的列向量进行翻转并横向堆叠，这样，每一行将包含长度为

的行向量。最终结果将是一个

大小的矩阵如下所示：

数学上将这种矩阵称之为梯度矩阵，有些资料会用符号

进行表示。

机器学习中的约定俗成

但是我们在机器学习中，很少见到所谓的“分子布局”和“分母布局”，这是因为在运算中，大多秉承着一些约定俗成的运算规则。如下所示：

- 向量对标量求导，默认使用分子布局

- 矩阵对标量求导，默认使用分子布局

- 标量对向量求导，默认使用分母布局

- 向量对向量求导，常使用分母布局

几个公式

下面几个公式也是经常使用的，其证明下一篇会给出：

首先矩阵求导(向量是其中一个特例而已)的东西很多都会有让人产生错觉的，如果要想要好好深入研究就要从矩阵代数(matrix alegbra)下手, 比如

不过作为应用来讲的话，其实你需要只是一个cookbook，比如

说说个人的想法

1。矩阵求导比较麻烦，所以尽量不要使用最基本的公式，要找公式就找具体的，形式完全一致的公式，直接带入(比如cookbook中就有各种具体形式的求导公式)，除非你熟悉从头开始的各种的推倒原理以及各种符号意义。

2。d(UV) = d(U)V + Ud(V)，这种公式不是没有用，只是相对来讲在矩阵代数中，更重要的是看清对谁求导，所以

或者

这一类的公式更实用，而且不容易带入出错，若是要用d(UV) = d(U)V + Ud(V)的也必须要带着dx啊。另外，这里之所以说要明确分母部分的内容，不光是为了确定这个变量是x,而不是y,更重要的是明确求导的变量的类型，因为各种情况差别巨大对标量求导

1)向量对标量求导，结果是个向量

事实上就是向量的每一个元素对标量求导。举个例子，对于

，其中

是个标量，

.

2)矩阵对标量求导，结果是个矩阵

事实上也就是矩阵的每一个元素对标量求导。对于矩阵

,

对向量求导

1) 标量对向量求导，结果是向量

事实上这就是所谓的Gradient，即对于一般标量函数

,其中

,

，有时候也记为为

.

2) 向量对向量求导，结果是矩阵

这个当然也是gradient，当然这准确的说应该叫matrix gradient. 即对于向量值函数

,其中

,

另外在实际运算中还会出现

,这个也被叫做是f的Jacobian.

3) 矩阵对向量求导，结果是个三维的object，先来个gradient,然后其中每个元素都是个matrix.

对矩阵求导

1) 标量对矩阵求导，结果还是矩阵。

事实上这一类，主要是考虑一类标量函数对矩阵的导数，一般是det,trace,log(det)等等

回到题主的问题哈，其实已经有不少人有了解答，这里就不重复了。这里就举个广为使用的例子，就是linear least square的多维情况，所考虑的最优化问题的对应函数

，事实上其实也就是题主那个式子，只不过变量看的不一样，其中y是n*1的向量，X是n*m的矩阵,b是m*1的参数向量， 则

这里需要用到的是上面说的cookbook中的公式：

这里观察这个size，我们可以发现最后求导的结果是(m*n) *(n*1) + (m*n)*(n*m)*(m*1)还是 m*1的哦！但是倘若对此再求一次导数，则相当于一个向量对向量求导数，即结果是一个矩阵，

观察size，(m*n)*(n*m) = m*m,即这是一个矩阵。