精华内容
下载资源
问答
  • 矩阵求导法则

    2018-03-14 16:17:07
    某乎有总结的很好的矩阵求导法则叫“矩阵求导术”:https://zhuanlan.zhihu.com/p/24709748https://zhuanlan.zhihu.com/p/24863977迹技巧(trace trick):标量套上迹:转置:。线性:。矩阵乘法交换:,其中与尺寸...

    某乎有总结的很好的矩阵求导法则叫“矩阵求导术”:

    https://zhuanlan.zhihu.com/p/24709748

    https://zhuanlan.zhihu.com/p/24863977

    df = \text{tr}\left(\frac{\partial f}{\partial X}^T dX\right)


    迹技巧(trace trick):

    1. 标量套上迹:a = \text{tr}(a)
    2. 转置:\mathrm{tr}(A^T) = \mathrm{tr}(A)
    3. 线性:\text{tr}(A\pm B) = \text{tr}(A)\pm \text{tr}(B)
    4. 矩阵乘法交换:\text{tr}(AB) = \text{tr}(BA),其中AB^T尺寸相同。两侧都等于\sum_{i,j}A_{ij}B_{ji}
    5. 矩阵乘法/逐元素乘法交换:\text{tr}(A^T(B\odot C)) = \text{tr}((A\odot B)^TC),其中A, B, C尺寸相同。两侧都等于\sum_{i,j}A_{ij}B_{ij}C_{ij}


    展开全文
  • 矩阵求导法则与性质

    万次阅读 多人点赞 2018-07-04 16:04:52
    介绍矩阵求导法则,以及常用的求导公式、迹函数、行列式求导结论 矩阵求导法则 矩阵求导应该分为标量求导、向量求导、矩阵求导三个方面来介绍,公式繁多,但仔细看看其实是有规律可循的。 标量求导 无论是...

    介绍矩阵求导法则,以及常用的求导公式、迹函数、行列式求导结论

    矩阵求导法则

    矩阵求导应该分为标量求导、向量求导、矩阵求导三个方面来介绍,公式繁多,但仔细看看其实是有规律可循的。

    标量求导

    无论是矩阵、向量对标量求导,或者是标量对矩阵、向量求导,其结论都是一样的:等价于对矩阵(向量)的每个分量求导,并且保持维数不变。

    例如,我们可以计算标量对向量求导:

    y y 为一个元素,xT=[x1...xq] q q 维行向量,则:

    yxT=[yx1...yxq]

    向量求导

    对于向量求导,我们可以先将向量看做一个标量,然后使用标量求导法则,最后将向量形式化为标量进行。

    例如,我们可以计算行向量对列向量求导:

    yT=[y1...yn] y T = [ y 1 . . . y n ] n n 维行向量,x=[x1,...,xp] p p 维列向量,则:

    yTx=[y1x...ynx]=[y1x1...ynx1.........y1xp...ynxp]

    矩阵求导

    与向量求导类似,先将矩阵化当做一个标量,再使用标量对矩阵的运算进行。

    例如,我们可以计算矩阵对列向量求导:

    Y=y11...ym1.........y1n...ymn Y = [ y 11 . . . y 1 n . . . . . . . . . y m 1 . . . y m n ] m×n m × n 矩阵, x=[x1,...,xp] x = [ x 1 , . . . , x p ] p p 维列向量,则:

    Yx=[Yx1,...,Yxp]

    矩阵微积分

    常见求导性质

    实值函数相对于实向量的梯度

    f(x)=x=[x1,...,xn]T f ( x ) = x = [ x 1 , . . . , x n ] T

    f(x)xT=xxT=In×n ∂ f ( x ) ∂ x T = ∂ x ∂ x T = I n × n

    (f(x))Tx=xTx=In×n ∂ ( f ( x ) ) T ∂ x = ∂ x T ∂ x = I n × n

    f(x)x=xx=vec(In×n) ∂ f ( x ) ∂ x = ∂ x ∂ x = v e c ( I n × n )

    (f(x))TxT=xTxT=vec(In×n)T ∂ ( f ( x ) ) T ∂ x T = ∂ x T ∂ x T = v e c ( I n × n ) T

    其中, vec v e c 表示向量化矩阵,按列将矩阵表示为向量,具体可见Wikipedia。

    常见性质

    1. f(x)=Ax f ( x ) = A x ,则

      f(x)xT=(Ax)xT=A ∂ f ( x ) ∂ x T = ∂ ( A x ) ∂ x T = A

    2. f(x)=xTAx f ( x ) = x T A x ,则

      f(x)x=(xTAx)x=Ax+ATx ∂ f ( x ) ∂ x = ∂ ( x T A x ) ∂ x = A x + A T x

    3. f(x)=aTx f ( x ) = a T x ,则

      aTxx=xTax=a ∂ a T x ∂ x = ∂ x T a ∂ x = a

    4. f(x)=xTAy f ( x ) = x T A y ,则

      xTAyx=Ay ∂ x T A y ∂ x = A y

      xTAyA=xyT ∂ x T A y ∂ A = x y T

    5. df(X)=tr((f(X)X)TdX) d f ( X ) = t r ( ( ∂ f ( X ) ∂ X ) T d X )

    6. 矩阵微分也满足线性法则、乘积法则。

    7. 矩阵的逆的微分

      d(X1)=X1(dX)X1 d ( X − 1 ) = − X − 1 ( d X ) X − 1

    迹函数

    迹函数相对于矩阵的梯度

    (tr(ZZT))Z=(tr(ZTZ))Z=2Z ∂ ( t r ( Z Z T ) ) ∂ Z = ∂ ( t r ( Z T Z ) ) ∂ Z = 2 Z

    矩阵微分算子和迹算子的可交换性

    d(tr(X))=tr(d(X))=i=1ndxii d ( t r ( X ) ) = t r ( d ( X ) ) = ∑ i = 1 n d x i i

    常见性质

    1. tr(A)A=In×n ∂ t r ( A ) ∂ A = I n × n

    2. tr(AB)A=BT ∂ t r ( A B ) ∂ A = B T

    3. d(tr(AXB))=tr(A(dX)B)=tr(BA(dx)) d ( t r ( A X B ) ) = t r ( A ( d X ) B ) = t r ( B A ( d x ) )

      tr(AXB)X=(BA)T=ATBT ∂ t r ( A X B ) ∂ X = ( B A ) T = A T B T

    4. d(tr(AX1B))=tr(A(dX1)B)=tr(AX1(dX)X1B)=tr(X1BAX1dX) d ( t r ( A X − 1 B ) ) = t r ( A ( d X − 1 ) B ) = − t r ( A X − 1 ( d X ) X − 1 B ) = − t r ( X − 1 B A X − 1 d X )

      tr(AX1B)X=(X1BAX1)T=XTATBTXT ∂ t r ( A X − 1 B ) ∂ X = − ( X − 1 B A X − 1 ) T = − X − T A T B T X − T

    5. tr(XTX)X=2X ∂ t r ( X T X ) ∂ X = 2 X

    行列式

    行列式相对于矩阵的梯度

    |Z|Z=|Z|(Z1)T ∂ | Z | ∂ Z = | Z | ( Z − 1 ) T

    微分形式

    d|X|=tr(|X|X1dX) d | X | = t r ( | X | X − 1 d X )

    常见性质

    1. d|AXB|===tr(|AXB|(AXB)1d(AXB))tr(|AXB|(AXB)1A(dX)B)tr(|AXB|B(AXB)1A(dX)) d | A X B | = t r ( | A X B | ( A X B ) − 1 d ( A X B ) ) = t r ( | A X B | ( A X B ) − 1 A ( d X ) B ) = t r ( | A X B | B ( A X B ) − 1 A ( d X ) )

      |AXB|X=|AXB|AT(BTXTAT)1BT ∂ | A X B | ∂ X = | A X B | A T ( B T X T A T ) − 1 B T

    2. |X|X=|X|XT ∂ | X | ∂ X = | X | X − T

    3. |XXT|X=2|XXT|(XXT)1X ∂ | X X T | ∂ X = 2 | X X T | ( X X T ) − 1 X

    reference

    1. 矩阵的导数与迹
    展开全文
  • 矩阵 向量求导法则

    2017-04-05 20:16:33
    机器学习数学基础,矩阵 向量求导法则必会
  • 机器学习中矩阵求导法则一、定义法求导二、分子与分母布局三、常见求导法则 一、定义法求导 矩阵求导的本质上就是矩阵中元素对元素的求导,只是将其按照矩阵的形式进行一些规范化的写法罢了 标量、向量、矩阵 组成9...

    一、定义法求导

    矩阵求导的本质上就是矩阵中元素对元素的求导,只是将其按照矩阵的形式进行一些规范化的写法罢了

    标量、向量、矩阵

    组成9种求导的情况

    • 其中标量对于其他三种求导比较容易就不过多叙述了
    • 向量对于向量求导,一般先分成单个元素对于向量求导即可
    • 向量对于矩阵求导,一般先把矩阵按照行或者列划分成分块矩阵,然后就成为向量与向量的求导
    • 矩阵对于矩阵的求导仍然是采取分块的思想进行,分成向量和矩阵的求导

    了解了求导的定义之后,如何将求导结果用矩阵表示就是下面这一部分所叙述的

    二、分子与分母布局

    • 分子布局

      顾名思义就是按照分子的形状进行布局,例如分子为m * 1阶矩阵,那么求导之后也是按照m * 1阶进行排布

    • 分母布局

      按照分母的形状进行布局,与分子布局差一个转置

    三、常见求导法则

    矩阵求导仍然满足链式法则,以及加法等等法则

    展开全文
  • 矩阵运算法则PPT学习教案.pptx
  • 矩阵、向量求导法则

    2018-09-12 14:28:52
    该文档总结了矩阵矩阵矩阵对向量、向量对矩阵、向量对向量、元素对矩阵、元素对向量的求导法则,非常有用!
  • 矩阵求导法则的总结

    千次阅读 2019-05-01 15:10:23
    首先我们要知道矩阵不是某个人发现的定理,矩阵的组织形式就是为了其计算简便,发明矩阵的人发现用矩阵计算可以直观,很便捷,所以他就想用矩阵的形式处理所有的数学公式,然后根据不同的数学公式的特点找到对应的...

    最重要的写在前面:

    进行更新:随着理解的加深,我发现之前写的有些问题,重新写一下吧

    矩阵求导要分成两类,第一类是用在向量函数f(x)里,比如要在x0处展开,所以需要计算该点处的雅可比这些;第二类是为了计算统一,我们规定的分子布局或分母布局这样。

    一、向量函数求导

    形如y=f(x)这样的函数,如果考虑在x0处的展开就变成了

    y=f(x_0) +J^T(x-x_0)+\frac{1}{2}(x-x_0)^TG(x-x_0)

    其中y可能是一个值(scale),也可能是一个向量,分情况讨论下:

    (1)值y_{1\times 1}对向量\mathbf{x}_{n\times1}求导

    \frac{\partial y}{\partial \mathbf{x}}:这时也叫梯度,求导的结果的维度当然要和分母的向量保持一致,(类似分母布局)

    (2)列向量\mathbf{y}_{m\times 1}对列向量\mathbf{x}_{n\times1}求导

    \frac{\partial \mathbf{y}}{\partial \mathbf{x}}:这时也叫雅可比,先将y按列展开,再将x按行展开,所以得到的结果维度为mxn,(类似分子布局),

    (3)还有hessian就不说了

     

    二、矩阵之间的求导

    这是需要考虑分子布局或分母布局,为了保持计算一致,我们需要选择一个规矩来计算,否则就乱了,不过我常见的还是分母布局;这时参考cook book就好,简单点就是说

    \frac{\partial Ax}{\partial x^T} = A

    \frac{\partial A^T x}{x} = A

    这类的

     

    三、小结

    在算出来jacobian之后,后面的矩阵计算还是得按照分母布局来推,比如下面:

    当然其实其实雅可比也是可以写成分母布局的,这样就得对应行向量了,因为雅可比后面跟着的是自变量x_nx1,所以还是要看自己的习惯,用哪个布局就选好配套的公式,不要一会这样一会那样,说到底都是为了计算方便,不管中间过程写成什么维度,可以算出正确结果就好了啊,只不过我是想按照这样的规律,以防自己算错

     

    Reference:

    https://blog.csdn.net/daaikuaichuan/article/details/80620518--------详细讲了我上面提到的几个例子,建议结合着看☆

    https://blog.csdn.net/lipengcn/article/details/52815429 ---------------有很多公式的,虽然有的也不一定对

    https://blog.csdn.net/nomadlx53/article/details/50849941-------------讲分母布局和分子布局的

    http://www.pianshen.com/article/5516168061/ --------------------------分子分母布局的对比

    https://www.jianshu.com/p/4128e5b31fb4---------------------------------分母布局讲的比较细

    展开全文
  • 矩阵、向量求导法则 中文版 包含所有情况和公式,适合翻阅查找 英文版包含推导,非常详细,适合精度,包含了矩阵tr技巧
  • 矩阵加法法则2. 数与矩阵相乘3. 矩阵矩阵相乘3.1 定义3.2 乘法法则4. 矩阵的转置5. 方阵的行列式5.1 定义5.2 运算法则6. 逆矩阵6.1 定理 1-26.2 运算法则 0. 定义 A=(ai×j);B=(bi×j)i=1...m;j=1...n \begin{...
  • ...   矩阵求导参考文献:《关于向量求导的一些公式》,刘昌红,刘瑞元 ...矩阵相乘,必须满足矩阵A的列数与矩阵B的函数想等,或者矩阵A的行数与矩阵B的列数相等   三、矩阵相乘注意要点   2、矩阵求导...
  • 1. 向量、矩阵对元素求导 2 1.1 行向量对元素求导 2 1.2 列向量对元素求导 2 1.3 矩阵对元素求导 2 2. 元素对向量、矩阵求导 3 2.1 元素对行向量求导 3 2.2 元素对列向量求导 3 2.3 元素对矩阵求导 3 3. 向量对向量...
  • 矩阵运算法则及性质

    2017-03-19 11:40:00
    1、方形矩阵A对应的行列式|A|用于判断矩阵是否为奇异矩阵,若|A|非0,则矩阵为非奇异矩阵,若|A|=0,则A为奇异矩阵。 2、|AB| = |A||B| 3、A的伴随矩阵AdjA的求法: 4、A的逆矩阵的求法: 5、系数矩阵加一列...
  • 矩阵求导-链式法则

    2020-12-01 19:41:30
    矩阵求导-链式法则
  • 矩阵的常用运算法则

    千次阅读 2020-08-01 00:33:54
    文章目录矩阵的概念矩阵的加法矩阵的乘法矩阵的转置矩阵的逆伴随矩阵矩阵的行列式矩阵的导数 矩阵的概念 矩阵的加法 矩阵的乘法 矩阵的转置 矩阵的逆 伴随矩阵 矩阵的行列式 矩阵的导数 参考资料 [1] 《工程数学...
  • 矩阵和向量的求导法则

    千次阅读 多人点赞 2018-12-16 20:46:51
    在Machine Learning 和Deep Learning里面 经常涉及对矩阵和向量的求导,本文介绍一下常用的求导法则
  • 矩阵--克拉默法则

    千次阅读 2019-10-31 14:00:17
    对于未知量与方程个数相等的线性方程组,理论上可以用所谓的克拉默法则求解,作为行列式在线性方程组中的一个重要应用,本节我们介绍克拉默法则的基本内容,并说明其在理论和应用问题中的局限性。本系列文章上一篇见...
  • 矩阵求导计算法则

    千次阅读 2018-10-29 10:44:23
    7. 矩阵积对列向量求导法则: d(uV)/dX =(du/dX)V + u(dV/dX) d(UV)/dX =(dU/dX)V + U(dV/dX) 重要结论: d(X'A)/dX =(dX'/dX)A + X'(dA/dX) = IA + X'0 = A   8. 标量y对矩阵X的导数: 类似...
  • 矩阵求导链式法则

    2020-07-05 20:41:19
    参考:机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则,系列有四篇,推导过程暂时还没有搞懂。
  • 矩阵向量求导法则

    2015-12-17 11:14:54
    机器学习中经常会用到矩阵向量的求导,首先得看懂求导公式,编程的时候才能方便实现。 资源来源于互联网,好像是leoleo的博客,但是原文找不到了,侵删。下面把资源贴出来 网盘链接:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 25,418
精华内容 10,167
关键字:

矩阵法则