-
机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
2019-07-30 09:52:58在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦。因此我们需要其他的...在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦。因此我们需要其他的一些求导方法。本文我们讨论使用微分法来求解标量对向量的求导,以及标量对矩阵的求导。
本文的标量对向量的求导,以及标量对矩阵的求导使用分母布局。如果遇到其他资料求导结果不同,请先确认布局是否一样。
1. 矩阵微分
在高数里面我们学习过标量的导数和微分,他们之间有这样的关系:df=f′(x)dxdf=f′(x)dx。如果是多变量的情况,则微分可以写成:
df=∑i=1n∂f∂xidxi=(∂f∂x)Tdxdf=∑i=1n∂f∂xidxi=(∂f∂x)Tdx
从上次我们可以发现标量对向量的求导和它的向量微分有一个转置的关系。
现在我们再推广到矩阵。对于矩阵微分,我们的定义为:
df=∑i=1m∑j=1n∂f∂XijdXij=tr((∂f∂X)TdX)df=∑i=1m∑j=1n∂f∂XijdXij=tr((∂f∂X)TdX)
其中第二步使用了矩阵迹的性质,即迹函数等于主对角线的和。即
tr(ATB)=∑i,jAijBijtr(ATB)=∑i,jAijBij
从上面矩阵微分的式子,我们可以看到矩阵微分和它的导数也有一个转置的关系,不过在外面套了一个迹函数而已。由于标量的迹函数就是它本身,那么矩阵微分和向量微分可以统一表示,即:
df=tr((∂f∂X)TdX)df=tr((∂f∂x)Tdx)df=tr((∂f∂X)TdX)df=tr((∂f∂x)Tdx)
2. 矩阵微分的性质
我们在讨论如何使用矩阵微分来求导前,先看看矩阵微分的性质:
1)微分加减法:d(X+Y)=dX+dY,d(X−Y)=dX−dYd(X+Y)=dX+dY,d(X−Y)=dX−dY
2) 微分乘法:d(XY)=(dX)Y+X(dY)d(XY)=(dX)Y+X(dY)
3) 微分转置:d(XT)=(dX)Td(XT)=(dX)T
4) 微分的迹:dtr(X)=tr(dX)dtr(X)=tr(dX)
5) 微分哈达马乘积: d(X⊙Y)=X⊙dY+dX⊙Yd(X⊙Y)=X⊙dY+dX⊙Y
6) 逐元素求导:dσ(X)=σ′(X)⊙dXdσ(X)=σ′(X)⊙dX
7) 逆矩阵微分:dX−1=−X−1dXX−1dX−1=−X−1dXX−1
8) 行列式微分:d|X|=|X|tr(X−1dX)d|X|=|X|tr(X−1dX)
有了这些性质,我们再来看看如何由矩阵微分来求导数。
3. 使用微分法求解矩阵向量求导
由于第一节我们已经得到了矩阵微分和导数关系,现在我们就来使用微分法求解矩阵向量求导。
若标量函数ff是矩阵XX经加减乘法、逆、行列式、逐元素函数等运算构成,则使用相应的运算法则对ff求微分,再使用迹函数技巧给dfdf套上迹并将其它项交换至dXdX左侧,那么对于迹函数里面在dXdX左边的部分,我们只需要加一个转置就可以得到导数了。
这里需要用到的迹函数的技巧主要有这么几个:
1) 标量的迹等于自己:tr(x)=xtr(x)=x
2) 转置不变:tr(AT)=tr(A)tr(AT)=tr(A)
3) 交换率:tr(AB)=tr(BA)tr(AB)=tr(BA),需要满足A,BTA,BT同维度。
4) 加减法:tr(X+Y)=tr(X)+tr(Y),tr(X−Y)=tr(X)−tr(Y)tr(X+Y)=tr(X)+tr(Y),tr(X−Y)=tr(X)−tr(Y)
5) 矩阵乘法和迹交换:tr((A⊙B)TC)=tr(AT(B⊙C))tr((A⊙B)TC)=tr(AT(B⊙C)),需要满足A,B,CA,B,C同维度。
我们先看第一个例子,我们使用上一篇定义法中的一个求导问题:
y=aTXb,∂y∂Xy=aTXb,∂y∂X
首先,我们使用微分乘法的性质对ff求微分,得到:
dy=daTXb+aTdXb+aTXdb=aTdXbdy=daTXb+aTdXb+aTXdb=aTdXb
第二步,就是两边套上迹函数,即:
dy=tr(dy)=tr(aTdXb)=tr(baTdX)dy=tr(dy)=tr(aTdXb)=tr(baTdX)
其中第一到第二步使用了上面迹函数性质1,第三步到第四步用到了上面迹函数的性质3.
根据我们矩阵导数和微分的定义,迹函数里面在dXdX左边的部分baTbaT,加上一个转置即为我们要求的导数,即:
∂f∂X=(baT)T=abT∂f∂X=(baT)T=abT
以上就是微分法的基本流程,先求微分再做迹函数变换,最后得到求导结果。比起定义法,我们现在不需要去对矩阵中的单个标量进行求导了。
再来看看
y=aTexp(Xb),∂y∂Xy=aTexp(Xb),∂y∂X
dy=tr(dy)=tr(aTdexp(Xb))=tr(aT(exp(Xb)⊙d(Xb)))=tr((a⊙exp(Xb))TdXb)=tr(b(a⊙exp(Xb))TdX)dy=tr(dy)=tr(aTdexp(Xb))=tr(aT(exp(Xb)⊙d(Xb)))=tr((a⊙exp(Xb))TdXb)=tr(b(a⊙exp(Xb))TdX)
其中第三步到第4步使用了上面迹函数的性质5. 这样我们的求导结果为:
∂y∂X=(a⊙exp(Xb))bT∂y∂X=(a⊙exp(Xb))bT
以上就是微分法的基本思路。
4. 迹函数对向量矩阵求导
由于微分法使用了迹函数的技巧,那么迹函数对对向量矩阵求导这一大类问题,使用微分法是最简单直接的。下面给出一些常见的迹函数的求导过程,也顺便给大家熟练掌握微分法的技巧。
首先是∂tr(AB)∂A=BT,∂tr(AB)∂B=AT∂tr(AB)∂A=BT,∂tr(AB)∂B=AT,这个直接根据矩阵微分的定义即可得到。
再来看看∂tr(WTAW)∂W∂tr(WTAW)∂W:
d(tr(WTAW))=tr(dWTAW+WTAdW)=tr(dWTAW)+tr(WTAdW)=tr((dW)TAW)+tr(WTAdW)=tr(WTATdW)+tr(WTAdW)=tr(WT(A+AT)dW)d(tr(WTAW))=tr(dWTAW+WTAdW)=tr(dWTAW)+tr(WTAdW)=tr((dW)TAW)+tr(WTAdW)=tr(WTATdW)+tr(WTAdW)=tr(WT(A+AT)dW)
因此可以得到:
∂tr(WTAW)∂W=(A+AT)W∂tr(WTAW)∂W=(A+AT)W
最后来个更加复杂的迹函数求导:∂tr(BTXTCXB)∂X∂tr(BTXTCXB)∂X:
d(tr(BTXTCXB))=tr(BTdXTCXB)+tr(BTXTCdXB)=tr((dX)TCXBBT)+tr(BBTXTCdX)=tr(BBTXTCTdX)+tr(BBTXTCdX)=tr((BBTXTCT+BBTXTC)dX)d(tr(BTXTCXB))=tr(BTdXTCXB)+tr(BTXTCdXB)=tr((dX)TCXBBT)+tr(BBTXTCdX)=tr(BBTXTCTdX)+tr(BBTXTCdX)=tr((BBTXTCT+BBTXTC)dX)
因此可以得到:
∂tr(BTXTCXB)∂X=(C+CT)XBBT∂tr(BTXTCXB)∂X=(C+CT)XBBT
5. 微分法求导小结
使用矩阵微分,可以在不对向量或矩阵中的某一元素单独求导再拼接,因此会比较方便,当然熟练使用的前提是对上面矩阵微分的性质,以及迹函数的性质熟练运用。
还有一些场景,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。如果我们可以利用一些常用的简单求导结果,再使用链式求导法则,则会非常的方便。因此下一篇我们讨论向量矩阵求导的链式法则。
-
机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
2019-07-30 09:52:20今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。 对于本文中的标量对向量或矩阵求导这两种情况,如前文所说,以分母布局为默认布局。向量对向量求导,以...在机器学习中的矩阵向量求导(一) 求导定义与求导布局中,我们讨论了向量矩阵求导的9种定义与求导布局的概念。今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。
对于本文中的标量对向量或矩阵求导这两种情况,如前文所说,以分母布局为默认布局。向量对向量求导,以分子布局为默认布局。如遇到其他文章中的求导结果和本文不同,请先确认使用的求导布局是否一样。另外,由于机器学习中向量或矩阵对标量求导的场景很少见,本系列不会单独讨论这两种求导过程。
1. 用定义法求解标量对向量求导
标量对向量求导,严格来说是实值函数对向量的求导。即定义实值函数f:Rn→Rf:Rn→R,自变量xx是n维向量,而输出yy是标量。对于一个给定的实值函数,如何求解∂y∂x∂y∂x呢?
首先我们想到的是基于矩阵求导的定义来做,由于所谓标量对向量的求导,其实就是标量对向量里的每个分量分别求导,最后把求导的结果排列在一起,按一个向量表示而已。那么我们可以将实值函数对向量的每一个分量来求导,最后找到规律,得到求导的结果向量。
首先我们来看一个简单的例子:y=aTxy=aTx,求解∂aTx∂x∂aTx∂x
根据定义,我们先对xx的第i个分量进行求导,这是一个标量对标量的求导,如下:
∂aTx∂xi=∂∑j=1najxj∂xi=∂aixi∂xi=ai∂aTx∂xi=∂∑j=1najxj∂xi=∂aixi∂xi=ai
可见,对向量的第i个分量的求导结果就等于向量aa的第i个分量。由于我们是分母布局,最后所有求导结果的分量组成的是一个n维向量。那么其实就是向量aa。也就是说:
∂aTx∂x=a∂aTx∂x=a
同样的思路,我们也可以直接得到:
∂xTa∂x=a∂xTa∂x=a
给一个简单的测试,大家看看自己能不能按定义法推导出:
∂xTx∂x=2x∂xTx∂x=2x
再来看一个复杂一点点的例子:y=xTAxy=xTAx,求解∂xTAx∂x∂xTAx∂x
我们对xx的第k个分量进行求导如下:
∂xTAx∂xk=∂∑i=1n∑j=1nxiAijxj∂xk=∑i=1nAikxi+∑j=1nAkjxj∂xTAx∂xk=∂∑i=1n∑j=1nxiAijxj∂xk=∑i=1nAikxi+∑j=1nAkjxj
这个第k个分量的求导结果稍微复杂些了,仔细观察一下,第一部分是矩阵AA的第k列转置后和xx相乘得到,第二部分是矩阵AA的第k行和xx相乘得到,排列好就是:
∂xTAx∂x=ATx+Ax∂xTAx∂x=ATx+Ax
从上面可以看出,定义法求导对于简单的实值函数是很容易的,但是复杂的实值函数就算求出了任意一个分量的导数,要排列出最终的求导结果还挺麻烦的,因此我们需要找到其他的简便一些的方法来整体求导,而不是每次都先去针对任意一个分量,再进行排列。
2. 标量对向量求导的一些基本法则
在我们寻找一些简单的方法前,我们简单看下标量对向量求导的一些基本法则,这些法则和标量对标量求导的过程类似。
1) 常量对向量的求导结果为0。
2)线性法则:如果f,gf,g都是实值函数,c1,c2c1,c2为常数,则:
∂(c1f(x)+c2g(x)∂x=c1∂f(x)∂x+c2∂g(x)∂x∂(c1f(x)+c2g(x)∂x=c1∂f(x)∂x+c2∂g(x)∂x
3) 乘法法则:如果f,gf,g都是实值函数,则:
∂f(x)g(x)∂x=f(x)∂g(x)∂x+∂f(x)∂xg(x)∂f(x)g(x)∂x=f(x)∂g(x)∂x+∂f(x)∂xg(x)
要注意的是如果不是实值函数,则不能这么使用乘法法则。
4) 除法法则:如果f,gf,g都是实值函数,且g(x)≠0g(x)≠0,则:
∂f(x)/g(x)∂x=1g2(x)(g(x)∂f(x)∂x−f(x)∂g(x)∂x)∂f(x)/g(x)∂x=1g2(x)(g(x)∂f(x)∂x−f(x)∂g(x)∂x)
3. 用定义法求解标量对矩阵求导
现在我们来看看定义法如何解决标量对矩阵的求导问题。其实思路和第一节的标量对向量的求导是类似的,只是最后的结果是一个和自变量同型的矩阵。
我们还是以一个例子来说明。y=aTXby=aTXb,求解∂aTXb∂X∂aTXb∂X
其中, aa是m维向量,bb是n维向量, XX是m×nm×n的矩阵。
我们对矩阵XX的任意一个位置的XijXij求导,如下:
∂aTXb∂Xij=∂∑p=1m∑q=1napApqbq∂Xij=∂aiAijbj∂Xij=aibj∂aTXb∂Xij=∂∑p=1m∑q=1napApqbq∂Xij=∂aiAijbj∂Xij=aibj
即求导结果在(i.j)(i.j)位置的求导结果是aa向量第i个分量和bb第j个分量的乘积,将所有的位置的求导结果排列成一个m×nm×n的矩阵,即为abTabT,这样最后的求导结果为:
∂aTXb∂X=abT∂aTXb∂X=abT
简单的求导的确不难,但是如果是比较复杂的标量对矩阵求导,比如y=aTexp(Xb)y=aTexp(Xb),对任意标量求导容易,排列起来还是蛮麻烦的,也就是我们遇到了和标量对向量求导一样的问题,定义法比较适合解决简单的问题,复杂的求导需要更简便的方法。这个方法我们在下一篇来讲。
同时,标量对矩阵求导也有和第二节对向量求导类似的基本法则,这里就不累述了。
4.用定义法求解向量对向量求导
这里我们也同样给出向量对向量求导的定义法的具体例子。
先来一个简单的例子: y=Axy=Ax,其中AA为n×mn×m的矩阵。x,yx,y分别为m,nm,n维向量。需要求导∂Ax∂x∂Ax∂x,根据定义,结果应该是一个n×mn×m的矩阵
先求矩阵的第i行和向量的内积对向量的第j分量求导,用定义法求解过程如下:
∂Aix∂xj=∂Aijxj∂xj=Aij∂Aix∂xj=∂Aijxj∂xj=Aij
可见矩阵 AA的第i行和向量的内积对向量的第j分量求导的结果就是矩阵 AA的(i,j)(i,j)位置的值。排列起来就是一个矩阵了,由于我们分子布局,所以排列出的结果是AA,而不是 ATAT
5. 定义法矩阵向量求导的局限
使用定义法虽然已经求出一些简单的向量矩阵求导的结果,但是对于复杂的求导式子,则中间运算会很复杂,同时求导出的结果排列也是很头痛的。下一篇我们讨论使使用矩阵微分和迹函数的方法来求解矩阵向量求导。
-
矩阵向量求导-定义法,矩阵微分+迹函数,矩阵向量链式求导法则
2020-05-21 11:48:16用定义法求解标量对向量求导举个例子2.用定义法求解标量对矩阵求导举个例子3.用定义法求解向量对向量的求导举个例子小结2. 微分法1.矩阵微分1.单变量2.多变量3.矩阵微分迹函数==统一表示==2.矩阵微分性质和迹函数的...文章目录
矩阵向量求导
摘自:https://www.cnblogs.com/pinard/p/10825264.html,并加入了自己的一丢丢想法。
说明1
- 在矩阵向量求导中,可以采用定义法,微分法和链式求导法。
- 选择:优先选择链式求导法,其次选择微分法,最后使用定义法。
- 无论采用哪种方法都涉及到求导布局的问题,应首先掌握求导布局。
说明2
- 符号约定:
- 小写字母表示标量。
- 小写黑体字母表示向量(默认是列向量)。
- 大写字母表示矩阵。
- 求导布局约定:
- 标量对向量求导和标量对矩阵求导均采用分母布局,保证求导的结果使得和向量或矩阵同型。
- 向量对标量求导和矩阵对标量求导均采用分子布局,保证求导的结果使得和向量或矩阵同型。
- 向量对向量求导采用分子布局,即雅克比式
- 其他约定:
- 不涉及以下求导
- 标量对标量求导【因为这个相比较其他的求导方式来说,简单了】
- 向量对矩阵的求导【遇到的不多】
- 矩阵对矩阵的求导【遇到的不多】
- 矩阵对矩阵的求导【遇到的不多】
- 想深入了解,请参见:https://www.cnblogs.com/pinard/p/10930902.html
- 不涉及以下求导
1.定义法
- 标量对向量或对矩阵求导,采用分母布局;向量对向量求导采用分子布局。
1. 用定义法求解标量对向量求导
-
解决。
-
标量对向量的求导,其实就是标量对向量里的每个分量分别求导,最后把求导的结果排列在一起,按一个向量表示而已。那么我们可以将实值函数对向量的每一个分量来求导,最后找到规律,得到求导的结果向量
- 操作步骤:
- 各个元素展开,并表示。【简单的元素好表示,复杂的就不怎么好表示了;这就是局限该方法的局限性】
- 每个元素均进行求导操作。
- 选定一种求导布局,排列好求导完各个元素的顺序。
- 操作步骤:
举个例子
,求解。
- 将标量(分子)完全展开
-
因为采用分母布局,结果应该和分母(列向量)同型,所以
-
同理,采用分母布局计算:
,求解。
-
将标量(分子)完全展开
-
因为采用分母布局,结果应该和分母(列向量)同型,所以
-
,求解。
-
将标量(分子)完全展开
-
可以发现,这个最后写成矩阵表达形式不像上面那么简单。
- 具体操作,相乘的地方用"十"字表示。
定义法求导对于简单的实值函数是很容易的,但是复杂的实值函数就算求出了任意一个分量的导数,要排列出最终的求导结果还挺麻烦的,因此我们需要找到其他的简便一些的方法来整体求导,而不是每次都先去针对任意一个分量,再进行排列。
2.用定义法求解标量对矩阵求导
- 解决。
举个例子
,求解。
-
将标量(分子)完全展开
-
采用分母布局,最终结果为的矩阵。所以有
3.用定义法求解向量对向量的求导
- 解决。
举个例子
,求解。。
-
根据向量对向量的求导的结果应该为维的矩阵。
-
先求矩阵的第行和向量的内积对向量的第分量求导,用定义法求解过程如下:
-
矩阵 的第行和向量的内积对向量的第分量求导的结果就是矩阵 的位置的值。
-
因为采用了分子布局,所以求导结果为;而不是采用分母布局后的。
- 可见求导布局对于最后结果的输出的影响是很大的。结果上差一个转置。
小结
==使用定义法虽然已经求出一些简单的向量矩阵求导的结果,但是对于复杂的求导式子,则中间运算会很复杂,=同时求导出的结果排列也是很麻烦。==所以需要引入微分法。
2. 微分法
- 使用微分法来求解标量对向量的求导,以及标量对矩阵的求导。
- 标量对向量的求导,以及标量对矩阵的求导使用分母布局。
1.矩阵微分
- 解决()。
1.单变量
-
解决,这里不做探讨。
-
单变量的微分和导入关系如下:
2.多变量
-
解决
-
多元变量下的微分和导数的关系如下:
3.矩阵微分
-
解决
-
矩阵下的微分和导数的关系如下:
迹函数
-
其中同型。
-
举个例子:
其中:
所以:
统一表示
- 上面矩阵微分的式子,可以看到矩阵微分和它的导数也有一个转置的关系,不过在外面套了一个迹函数而已。由于标量的迹函数就是它本身,那么矩阵微分和向量微分可以统一表示。即:
2.矩阵微分性质和迹函数的性质
矩阵微分的性质
- 在后面的求导中有运用。
- 微分加减法:。
- 微分乘法:。
- 微分转置:。
- 微分的迹:。
- 微分的哈达玛积:。
- 逐个元素求导:。
- 逆矩阵微分:。
- 行列式微分:。
说明:
- 其中的哈达玛积的计算,一般表示为或,参考百度即可:哈达玛积
- 上述的逆矩阵的微分和行列式的微分,个人并没有推导。
迹函数的性质
- 在后面的求导中有运用。
- 标量的迹等于它本身:。
- 矩阵转置不改变迹的值:。
- 迹满足交换律:,其中同型。
- 迹的加减法:。
- 矩阵乘法和迹交换:。其中同型。
3.使用微分法对矩阵向量求导
1.法则
若标量函数是矩阵经加减乘法、逆、行列式、逐元素函数等运算构成。
- 则使用相应的运算法则对求微分。
- 再使用迹函数技巧给套上迹。
- 并将其它项交换至左侧。
- 那么对于迹函数里面在左边的部分,我们只需要加一个转置就可以得到导数了。
2.例子
例1
,求。。类型,是一个标量,也是一个标量。
求解步骤:
-
使用微分法的乘法对求微分。
- 因为最终是对求导(),那么微分中不含的最终结果都为。
-
等式两边进行取迹()操作。
- 第一个等式成立是因为,标量的迹等于它本身,
- 第二等式成立是因为,那本身等式的两边取迹。
- 第三个等式成立是为,迹函数的性质三。
-
已经将放在迹内的最右侧了,那么其前面的部分加上转置就是求导后的结果。
查表Scalar-by-matrix identities的第8行,结果一致。采用分母布局。
例2
,求。。类型,是一个标量,也是一个标量。
-
- 第三个等式成立,是很显然的,用到哈达玛积。
- 第四个等式成立,目标是要剥离出,同时这样的写法是没用问题的。对于来说是常数。可以展开来详细看看。
-
- 第一个等号是因为,标量的迹等于它本身。
- 第三个等号成立是因为,迹函数的技巧5,矩阵乘法和迹交换.
- 第六个等号成立是因为,去掉的符号和原来一样,目标也是要把给剥离出来。
- 最后一个等号成立是因为,迹的交换律。
-
所以最终结论为:
4.使用迹函数对矩阵向量求导
1.基本形式
,其中。是个标量。类型。
-
展开
- 第一个等式成立是以为,操作和操作可以互换。矩阵微分性质4,微分的迹。
- 第二个等式成立是因为,矩阵微分2,微分乘法。
- 第三个等式成立是因为,做种求的是关于,所以不含的项最终值均为,故舍去。
- 第四个等式成立是因为,迹函数技巧3,迹的交换律。
-
结果,加个转置
,其中。是个标量。
2.例子
。,是一个标量。类型
-
-
所以,
小结
- 使用矩阵微分,可以在不对向量或矩阵中的某一元素单独求导再拼接,因此会比较方便,当然熟练使用的前提是对上面矩阵微分的性质,以及迹函数的性质熟练运用。
- 还有一些场景,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。如果我们可以利用一些常用的简单求导结果,再使用链式求导法则。
3.链式法
求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。使用矩阵向量求导链式法则,快速求出导数结果。
- 标量对向量的求导,标量对矩阵的求导使用分母布局, 向量对向量的求导使用分子布局。
1.向量对向量的求导法则
假设存在多个向量的依赖关系,如。其中。
-
应该是维。采用分子布局,雅克比式。
-
所以有:
注意:这个写法只在全是向量的依存关系时,才是对的。 -
拓展:。
2.标量对多个向量的链式求导法则
在机器学习算法中,最终要优化的一般是一个标量损失函数,因此最后求导的目标是标量。所以这个更常用一点。
假设存在多个向量的依赖关系,如。其中。是标量。
-
应该是维。采用分母布局。
-
是维,采用分母布局。是维。
-
要使上述的链式求导时维度可以相容,即
-
推论:。
例子
设有列向量,列向量,标量。。
构成:,求
-
- 采用分子布局,是()维。所以结果是,而不是。
-
- 这个计算,可以用定义法求解。前面已经求过了。
-
3.标量对多个矩阵的链式求导法则
假设有。其中。是矩阵,$z是标量。求网络的参数。
-
矩阵对矩阵的求导是比较复杂的定义,不给出基于矩阵整体的链式求导法则。参考
-
给出对矩阵中一个标量的链式求导方法。
-
虽然我们没有全局的标量对矩阵的链式求导法则,但是对于一些线性关系的链式求导,还是可以得到一些有用的结论的。
- 其中分别从的行数和列数中取值(或列数和行数)。
- 第一等式成立是以为,在中的一个元素都和中的元素相关。同时对于的某个确定的。总是和相关。所以出现对中的每个元素对求导,对每个中的元素求导,然后用链式穿起来(因为都是标量,所以谁前谁后没关系)。
- 第二等式成立是以为,前面矩阵微分已经详细说明了,并且举了例子。
经典例子
设都是矩阵,是标量,其中。求就是经典的机器学习中问题。是参数矩阵,是数据集构成的矩阵。其中。
-
标量的链式求导法则求。
-
对于。
- 第一个等号成立是因为,为了方便第二个等式的推导。其实没必要给出,给出的目的只是为了强化矩阵的乘法。
- 算的的标量的求导,那么对于的偏导一定是一个变量,说白了就是矩阵相乘时前的系数。这个系数的计算肯定用到矩阵的乘法。
- 第二个等式成立是因为:
- 和相乘,现在已经知道是对求导,它在第行出现,对应的一定在第列。所以。所以锁定。其中的是已经确定的,相当于知道了是的第行。
- 与相乘的元素,对应中的第行,可以表示为,取尽中的所有列。因为要求的是的导数,所以在时,对它的导数为,在时,对它的导数。
- 第一个等号成立是因为,为了方便第二个等式的推导。其实没必要给出,给出的目的只是为了强化矩阵的乘法。
-
所以
- 第二个等式成立是因为,取尽所有中的列数得出的结果。
- 时,为。时,为。
- 第三个等式成立是因为,去掉并不会该变其值。因为的取值只有。
- 第二个等式成立是因为,取尽所有中的列数得出的结果。
-
对于。
-
这个可以写成矩阵的表达形式。
-
以为是对进行遍历求和,而给出的只有和。通过矩阵相乘的概念,应该出现在矩阵相乘维度相容的中间,即或。
-
若采用,矩阵的第行和的第列的内积。
- 因为采用分布分母布局,所以应该是$m*n维的。
- 是的,是的。
- 所以上述是维度是匹配的(相容的)。
- 因为采用分布分母布局,所以应该是$m*n维的。
-
若采用,矩阵的第行和的第列的内积。
- 因为采用的是分母布局,所以上述的表达式维度相容,故舍去。
-
结论
- 约定:采用分母布局。
结论1
- 设都是矩阵,是标量,其中。求。
则
2. 设都是矩阵,是向量,是标量,其中。求。
结论2
- 如果要求导的自变量在左边,线性变换在右边,也有类似稍有不同的结论如下
-
设都是矩阵,是标量,其中。求。
-
设是矩阵,是向量,是标量,其中。求。
技巧
- 无论自变量在那边,均采用分母布局的方式处理。
- 或。至于是那种形式,根据矩阵相乘时的维度相容即可判别。
小结
- 在同等情况下,优先考虑链式求导法,尤其后面的的四个结论。其次选择微分法、最后考虑定义法。
- 没有结局的问题是,矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这三种形式。这个遇到的不多,具体参考:https://www.cnblogs.com/pinard/p/10930902.html。
- 常见的形式是:。
- 重点:。
- (矩阵微分性质+迹函数技巧)是真的强大,,矩阵向量链式求导法则(向量对多个向量求导,标量对多个向量求导,标量对多个矩阵的求导)【维度相容】。
参考:
这个是真的大佬!
-
机器学习中矩阵向量求导
2020-05-05 13:37:30以下内容是根据刘建平的求导博客做的相关笔记 一、导数的定义与布局 1. 相关说明 2.导数布局 导数部分有分子布局和分母布局两种情况。 分子布局和分母布局相差一个转置。...二、矩阵向量求导之定义法 ...以下内容是根据刘建平的求导博客做的相关笔记
一、导数的定义与布局
1. 相关说明
2.导数布局
导数部分有分子布局和分母布局两种情况。
分子布局和分母布局相差一个转置。- 标量对向量求导布局
- 向量对向量求导布局
- 求导布局总结
- 标量对向量或矩阵求导,以分母布局为主。向量对向量求导,以分母布局为主。
二、矩阵向量求导之定义法
写出单个元素间的求导关系,得出求导结果。
思路简单,适用于求解简单关系的导数2.1 标量对向量求导
2.2 标量对矩阵求导
2.3 向量对向量求导
三、矩阵向量求导之微分法
3.1 矩阵微分
3.2 矩阵微分的性质
矩阵迹相关
是的伴随矩阵,相应位置的代数余子式构成的矩阵3.3使用微分法求解矩阵向量求导
四、链式法则
4.1 链式法则与矩阵相容
链式关系成立的条件是,相互关联的变量都是向量。
,,都是向量时,用上面的链式法则公式直接求解。
当最终的变量是标量时,按上面公式计算会出现维度不相容的情况。需要按下面的方法计算:
- 标量对向量求导布局
-
机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
2019-07-30 09:53:37在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。... -
矩阵向量求导-刘建平Pinard|笔记
2020-08-05 20:47:09笔记原文链接声明一、求导定义与求导布局原文图片个人笔记二、矩阵向量求导之定义法原文图片个人笔记三、矩阵向量求导之微分法原文图片个人笔记四、矩阵向量求导链式法则原文图片个人笔记五、矩阵对矩阵的求导原文... -
机器学习中的向量求导规则
2012-11-09 15:18:00网上有一些向量求导的总结,把20多种情况一一考虑,很是麻烦,本文希望找出向量求导的...我总结的向量求导的基本推导准则是(以f(x)对向量求导为例): 1)先对f(x)求向量分量的导数,也就是标量的导数,该导数可能... -
【机器学习之向量求导】分子布局 分母布局
2020-08-29 00:08:13请思考: 维度为m的一个向量????对一个标量????的求导,那么结果也是一个m维的向量:∂?...这个m维的求导结果排列成的m...为了解决矩阵向量求导的结果不唯一,我们引入求导布局。最基本的求导布局有两个:分子布局(numera -
向量转置的怎么求导_pytorch自动求导Autograd系列教程(一)
2021-01-03 10:47:34前言:构建深度学习模型的基本流程就是:搭建计算图,求得损失函数,然后计算损失函数对模型参数的导数,再利用梯度下降法等方法来更新参数。搭建计算图的过程,称为“正向传播”,这个是需要我们自己动手的,因为... -
多元函数对矩阵求导
2013-09-01 22:08:39图像处理中常常涉及二元函数对二维向量的求导,特此总结 如何在离散的图像中计算这些连续空间上的微分呢?需要采用有限元差分法求导,主要思路是联立泰勒展开 -
标量 向量 标量求导链式法则_终于梳理清楚矩阵求导了!
2020-11-24 14:52:43前言与感谢以前就对矩阵求导有心理阴影,到底要不要转置,哪个矩阵放在前面,哪个矩阵放在后面,链式法则怎么搞,由产生此类一系列让人头大的问题。其中,最令人智熄的是经常网上的一些算法公式推导是错误的,因为... -
标量 向量 标量求导链式法则_算法推导核心!一次性梳理清楚,是时候搞定矩阵求导了!附参考资料...
2020-11-24 14:52:44前言与感谢以前就对矩阵求导有心理阴影,到底要不要转置,哪个矩阵放在前面,哪个矩阵放在后面,链式法则怎么搞,由产生此类一系列让人头大的问题。其中,最令人智熄的是经常网上的一些算法公式推导是错误的,因为... -
最小二乘法解的矩阵形式推导,以及BN(batch normalization)的求导公式
2019-10-22 12:41:12解法一:由基本的实值函数对向量的求导公式推导 解法二:使用线性变换的求导公式 解法三:元素法,网上搜索的绝大部分推导过程都是此法 下面只对上面两种解法解析,具体如下: 求解BN的反向传播公式 1.BN算法... -
矩陣的導數
2012-04-09 17:34:02标量对向量求导 設X,Y是3階列矩陣。 标量对矩阵求导 設矩陣U是3 by 3旋轉矩陣。 向量间的求导 矩阵对向量求导 复合标量对向量求导 简记法 愛因斯坦求和約定(Einstein notation) 与矩阵求导... -
为什么正定矩阵等于转置_矩阵求导秘笈
2020-12-31 08:36:36学好线性代数矩阵论需要的不是逻辑...首先矩阵×向量有一种内存小的记法:上式a是A的列向量,是向量x的元素(标量)。式(a)的左边上式乘积的对角元素为式(a)的右边得证。是正定矩阵,其中为可逆矩阵(nonsingular,行... -
java二维矩阵怎么进行转置_矩阵求导秘笈
2020-11-24 14:52:44学好线性代数矩阵论需要的不是逻辑...首先矩阵×向量有一种内存小的记法:上式a是A的列向量,是向量x的元素(标量)。式(a)的左边上式乘积的对角元素为式(a)的右边得证。是正定矩阵,其中为可逆矩阵(nonsingular,行... -
梯度与梯度下降法详解
2020-05-19 19:36:20梯度与梯度下降法1 前言2 导数3 导数与偏导数4 导数与方向导数5导数与梯度6 导数与向量7 梯度下降法8 梯度下降法与机器学习9 梯度下降法的缺点10 补充:向量函数求导的问题10.1对标量求导10.2对向量求导 1 前言 ... -
SVM支持向量机总结
2018-06-13 20:22:00一、拉格朗日乘子法 一般,在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。...是不是直接f对各个x求导等于0,,解x就可以了,可以看到没有约束的话,求导为0,那么各个x均为0吧,这样f=0了,... -
python二元函数求导_用Excel和python实现二元函数梯度下降的人工智能,之用,excel,一元...
2021-02-09 21:22:23梯度下降法和牛顿法的总结与比较机器学习的本质是建立优化模型,通过优化方法,不断迭代参数向量,找到使目标函数最优的参数向量。最终建立模型通常用到的优化方法:梯度下降方法、牛顿法、拟牛顿法等。这些优化方法... -
【机器学习笔记】Hessian矩阵
2017-10-03 14:35:21看牛顿法的时候,遇到的这...θ:=θ−l′(θ)l′′(θ)\theta := \theta - \frac{l^{'}(\theta)}{l^{''}(\theta)}如果 θ\theta 为向量,就会想,函数对向量求导怎么求? 所以查了一下:1. 标量对向量求导:结果是向量 -
梯度下降的向量化和数据标准化
2020-12-05 15:49:00线性回归中梯度下降法的向量化 将梯度式写为 此处,X0(i)== 1。 若将上式转置,则可分解为 或者直接写为下式: 由此,可对我们之前的代码进行修改,如下: def dJ(theta,X_b,y): # res = np.empty(len(theta))... -
中心差分法
2019-02-18 16:10:41运动方程中的速度向量和加速度向量用位移的某种组合来表示,将微分方程组的求解问题转化为代数方程组的求解问题,并在... 中心差分法是一种显示的积分法,它基于用有限差分代替位移对时间的求导(即速度和加速度)。 -
切向量,普通矢量,渐变
2015-10-24 15:23:00 首先,说明称切向量垂直梯度曲线,这是梯度方向的法向矢量方向: 设曲线x=x(t)。...z=z(t)满足方程u(x,y,z)=c,即u(x(t),y(t),z(t))=c,利用复合函数求导法则,方程两边同一时候对t求导数,得 ...