线性代数之行列式偏导
 
 矩阵偏导
 
针对y或者f(x)是元素，x是矩阵的情况，则元素对矩阵的求导形式如下：
 
 
注:这里的  ​ 和矩阵x是同型（行数列数相同）的。
 
 
 行列式性质
 
这里假定A是方阵，则有如下性质：
 
1 余子式是将行列式的第i行、第j列删除后组成的新行列式，一般用如下符号表示：
 
比较一般的例子(M11)见：
 
2 对余子式求余因子，则称为代数余子式。表达式为：
 
3 行列式的值等于某一行(列)的各个元素与其对应的代数余子式的乘积之和，即  
 
 
4由行列式A的代数余子式Aij 的转置所构成的矩阵叫做伴随矩阵，其定义如下：
 
即可简写为： ，其中C为代数余子式。
 
5 对于非奇异（行列式不为0）的矩阵A，有如下性质：
 
这里由伴随矩阵的定义得： ，因为A可逆，则容易得上式(即中间式子右乘A-1)。
 
注：这里的A*即是 。
 
 行列式偏导
 
因为行列式是标量函数，所以之前关于标量函数的定义与性质都适应于行列式。
 
按照行列式分量展开的形式看，则有：
 
针对整个行列式，则有:
 
注：1 这里借助矩阵导数的概念：
 
 
 
 
2 伴随矩阵等于代数余子式矩阵的转置 
 
 
 行列式偏导与矩阵逆
 
接行列式偏导的定义，针对行列式A是非奇异(行列式不为0)的情况，则可以进一步转换：
 
1 将伴随矩阵转换为行列式和矩阵逆的乘积  
 
2 再结合常数乘矩阵逆的性质，即可将常数提到外面，最终得  

转自：https://blog.csdn.net/lirika_777/article/details/79646453
 
 
 
 
 
 
 
 
 
 

首先介绍点基础知识，另一方面也算是巩固下： 
 $A^{-1}$表示A的逆矩阵; 
 $A^T$表示A的转置; 
 $A^H$表示Hermitian矩阵(A的共轭转置矩阵A∗==A)
 
基础
 
 
（1）迹（Trace）
 
eig(A)表示A的特征值
 
 
（2）行列式（Determinant）
 
 
（3）特例2*2矩阵
 
 
以上是摘自：The Matrix Cookbook 
 也可参考维基百科：Matrix calculus
 
L1范数的次微分
 
L1范数不可微。但是存在次梯度，即是次微分的 
 L1范数的次梯度如下： 
 
 $$\frac{\partial }{\partial x}||x||_1=sign(x)$$  

 其中sign(x) 表示如下： 

 

 $$sign(x)=\left\{\begin{matrix}
+1 & x_i>0 \\ 
-1 &x_i<0  \\ 
[-1,1] &x_i=0 
\end{matrix}\right.$$  

 而

$L_1$范数：

 $$||X||_1=|x_1|+|x_2|+\cdots+|x_n|$$  

 例如：

$x=(3,2,-5)^T$ 

 故其梯度为：sign(x)=(1,1,-1)
 
L2范数的微分
 
 
例如：求解下面函数的偏导数： 
 
 $$f(W)=\frac{1}{2}\sum _{{i,j}\epsilon S}\gamma _{i,j}||w_i^TX-w_j^TX||_2^2$$  

 得：

 $$\begin{align*}
\frac{\partial f(W)}{\partial w_i} &=\sum _{{i,j}\epsilon s}\gamma _{i,j}(w_i^TX-w_j^TX)* \frac{\partial (w_i^TX-w_j^TX)}{\partial w_i}\\ 
 &= \sum _{{i,j}\epsilon s}\gamma _{i,j}(w_i^TX-w_j^TX)*X^T\\ 
 &= \sum _{{i,j}\epsilon s}\gamma _{i,j}(w_i^T-w_j^T)*(XX^T)
\end{align*}$$  

 注意这里得到的是行向量的形式，因此还需要对其进行转置 
 
以上的推倒是基于上图公式得到。。。

我们以二重积分为例进行说明，首先说结论：
 
一、结论
 
若x = x(u, v), y = y(u, v)存在偏导数，则二阶雅可比行列式为 =  = 
 
dxdy = |J2| dudv,  (J2的绝对值),且
 
 
其中积分区域和积分区域是一一对应的。
 
二、理解
 
二重积分的定义中指出，将积分区域任意分割成n个小的闭区域:
 
Δσ1, Δσ2, …, Δσn,
 
其中Δσi表示第i个小闭合区域的面积，在闭合区域上取一点(ξi, ηi), 这一点的函数值与区域Δσi的乘积的总和为，若当各小闭合区域的直径中的最大值λ→0时，这个和的极限总存在，且与区域Dxy的分法及点(ξi, ηi)的取法无关，那么函数f(x, y)在区域Dxy上的二重积分记做：
 
 
dσ为小闭合区域的面积，假设我们将Dxy分隔为一个一个小矩形区域，每一小块积分区域Δσi 在uv坐标系中都对应一块积分区域Δσi'，它们是一一对应的，并且Δσi=|J2|Δσi'，|J2| 是雅可比行列式的绝对值，可能是常量，但一般情况下是一个变量，所以我们可以保证以下等式成立：
 
 
在xy坐标系中第i块积分区域上任取一点(ξi, ηi)，都能在uv坐标系中的第i块积分区域中找到一点(ξi',ηi')，并满足，另外我们知道，所以上述等式成立，那么对上述等式做累加，也固然成立，即：
 
'
 
故，两边取极限，二重积分也就相等，即一中结论成立。
 
下面我们主要说明为什么，dxdy = |J2| dudv：
 
解释1
 
首先我们应该怎么理解dxdy，在xy坐标系中，dx和dy可以看成是小矩形的长和宽，它们相互垂直，dxdy可以简单的理解为两个标量相乘求面积，用来代替Δσi，但是在uv坐标系中，du和dv相互垂直，但是dx和dy代表的是一个平行四边形的两条边，并不垂直，，，显然它们并不一定垂直，那么在uv坐标系中我们不能讲dxdy简单的两个标量相乘，而是应该理解为两个向量叉乘所得向量的模（面积）：
 
                     图一：
 
                                                 
 两边取模，dxdy = |J2|dudv
 
https://www.zhihu.com/question/274450639，
 
另外也可以参考MIT的微积分课程：
 
https://open.163.com/movie/2010/8/G/2/M6TUC9K75_M6TUID0G2.html，
 
18课24分钟，更简单的描述过程。
 
其实在xy坐标系中我们也可以将dxdy理解为向量叉乘的模，只不过他们夹角是90度，所以等于标量乘积。
 
注：以上描述非常可能是错误的，并没有参考正规资料，只是一个知乎网友提供的描述（见上述链接），我并不确定是否能把dxdy、dudv写成向量的形式，所以请批判性的参考，而且，我无法解释为什么最终du dv两个向量取模没有乘以其夹角的正弦值，如果上述是完全是错误的那么我们只能用面积比值强行解释了：
 
解释2
 
 
参考：https://wenku.baidu.com/view/f56aa732b94ae45c3b3567ec102de2bd9605de8b
 
我们将积分区域Dxy按照上图右进行划分成N多个小块，根据微积分的定义，计算结果和微分方式无关，所以我们把它为分成这种扭曲的方式，每一个扭曲的小块一一对应uv坐标系中每一个规则的矩形，切他们的面积比值为|J|，也就是dA = |J|dudv
 
 
由于积分的计算结果与积分区域的划分方式无关，所以，其中，即
 
 
 
 
 
 
 
以下是上上次编辑此篇博客时留下的，但是没有图，可以忽略。
 
下面通过 直观的解释来理解为什么，dxdy = |J2| dudv， 我们取积分区域里面的一点（x, y）那么在uv坐标系下与之对应的一点为（u, v），, ，很显然 (x, y)到(u, v)的坐标变换不是线性的，但是在积分区域的某一个具体点  的很小的一个范围内，可以近似线性的，  因为其偏导数几乎不变，我们可以把、、和看成是常数，那么在(x, y)这一点附近的很小区域内，进行的坐标变换就可以看做是线性变换，  (x, y) 附近的积分区域， 经过坐标变换后，面积将改变，变换前后面积的比值即是，雅可比行列式的值，（动图待制作）