张量的几个物理场景
 
应力状态
 
材料内部受力状况就是应力状态，应力在不同方向的大小不同，并且与感应面有关。如图所示材料某点的应力状态，可用矩阵表示
 $$\sigma =\left(\begin{array}{ccc}{\sigma }_x& {\tau }_{xy}& {\tau }_{xz}\\ {\tau }_{yx}& {\sigma }_y& {\tau }_{yz}\\ {\tau }_{zx}& {\tau }_{zy}& {\sigma }_z\end{array}\right)$$
 这是个对称矩阵，即${\tau }_{xy}={\tau }_{yx},{\tau }_{xz}={\tau }_{zx},{\tau }_{yz}={\tau }_{zy}$
 现在已知某任意平面，那么怎么求该平面上的应力状态呢?如下图所示，以平面示意
 红色的箭头是该平面的总的应力，该总应力可以分解成垂直于平面的正应力和平行于平面的切应力。若已知平面的法矢为$n=(n_x,n_y,n_z)$，其总应力计算如下
 $${\sigma }^{\prime }=n\cdot \sigma =(n_x,n_y,n_z)\left(\begin{array}{ccc}{\sigma }_x& {\tau }_{xy}& {\tau }_{xz}\\ {\tau }_{yx}& {\sigma }_y& {\tau }_{yz}\\ {\tau }_{zx}& {\tau }_{zy}& {\sigma }_z\end{array}\right)$$
 那么正应力为
 $$\begin{gathered} {\sigma }_n^{\prime }={\sigma }^{\prime }/n\cdot n={\sigma }^{\prime }\cdot n\cdot n \\ =(n_x,n_y,n_z)\left(\begin{array}{ccc}{\sigma }_x& {\tau }_{xy}& {\tau }_{xz}\\ {\tau }_{yx}& {\sigma }_y& {\tau }_{yz}\\ {\tau }_{zx}& {\tau }_{zy}& {\sigma }_z\end{array}\right)\left(\begin{array}{c}{n}_x\\ n_y\\ n_z\end{array}\right)(n_x,n_y,n_z) \end{gathered}$$
 切应力的为
 $${\sigma }_{\tau }^{\prime }={\sigma }^{\prime }÷n={\sigma }^{\prime }-{\sigma }_n^{\prime }$$
 
转动惯量
 
一个物体的转动，和平移一样，也存在惯性。转动惯量就是衡量这个惯性的大小。对于规则的物体，其转动比较容易求得，如下图所示
 该立方块绕$x$轴的转动惯量为$J_x$，绕$y$轴的转动惯量为$J_y$，绕$z$轴的转动惯量为$J_z$。那么如何求得其绕任意轴$n$的转动惯量$J^{\prime }$，如图红色所示。转动惯量也是一种张量，其数学形式如下
 $$J=\left(\begin{array}{ccc}{J}_x& 0& 0\\ 0& J_y& 0\\ 0& 0& J_z\end{array}\right)$$
 那么绕$n$的总转动惯量计算如下
 $$J^{\prime }=n\cdot J=(n_x,n_y,n_z)\left(\begin{array}{ccc}{J}_x& 0& 0\\ 0& J_y& 0\\ 0& 0& J_z\end{array}\right)$$
 总的转动惯量到转轴的投影就是绕这个轴的转动惯量
 $$J_n^{\prime }=J^{\prime }/n\cdot n$$
 总的转动惯量垂直于这个轴的投影为
 $$J_{\tau }^{\prime }=J^{\prime }÷n$$
 有个疑问，为什么会有这个垂直的转动惯量。这是因为，在物体转动的时候，两端会甩开远离轴，或者聚拢越来越接近轴，而这个转动的转动惯量就是总转动惯量垂直于这个轴的分量。
 
各向异性的感应电场
 
我们知道，一个电荷在真空中形成的电场是向各个方向发散，并且每个方向等强度，即等势面是球形。但如果在物质内部呢?这个电荷在物质内部形成的是感应电场(也常称为电位移矢量)，并且由于很多物质都是各向异性的，也就是说电荷在不同方向的感应效果不一样，所以等势面试是椭球，如下图所示
 
 其实所有三维张量都可以用椭球表示，二维张量可以用椭圆表示。
 电荷在真空发出的电场为
 $$E=\frac{Q}{4\pi r^2}\left(\begin{array}{ccc}ϵ& 0& 0\\ 0& ϵ& 0\\ 0& 0& ϵ\end{array}\right)$$
 电荷在各向异性物质内感应的电场为
 $$D=\frac{Q}{4\pi r^2}\left(\begin{array}{ccc}{ϵ}_{xx}& {ϵ}_{xy}& {ϵ}_{xz}\\ {ϵ}_{yx}& {ϵ}_{yy}& {ϵ}_{yz}\\ {ϵ}_{zx}& {ϵ}_{zy}& {ϵ}_{zz}\end{array}\right)$$
 该式中的矩阵为对称矩阵，即${ϵ}_{xy}={ϵ}_{yx},{ϵ}_{xz}={ϵ}_{zx},{ϵ}_{yz}={ϵ}_{zy}$。矩阵中${ϵ}_{ij}={ϵ}_{ij}^rϵ$，其中${ϵ}_{ij}^r$为方向$ij$的相对介电系数，所以任意方向的感应电场强度为
 $$D^{\prime }=n\cdot D=(n_x,n_y,n_z)\left(\begin{array}{ccc}{ϵ}_{xx}& {ϵ}_{xy}& {ϵ}_{xz}\\ {ϵ}_{yx}& {ϵ}_{yy}& {ϵ}_{yz}\\ {ϵ}_{zx}& {ϵ}_{zy}& {ϵ}_{zz}\end{array}\right)$$
 其大小为
 $$|D^{\prime }|=D^{\prime }/n=D^{\prime }\cdot n=(n_x,n_y,n_z)\left(\begin{array}{ccc}{ϵ}_{xx}& {ϵ}_{xy}& {ϵ}_{xz}\\ {ϵ}_{yx}& {ϵ}_{yy}& {ϵ}_{yz}\\ {ϵ}_{zx}& {ϵ}_{zy}& {ϵ}_{zz}\end{array}\right)\left(\begin{array}{c}{n}_x\\ n_y\\ n_z\end{array}\right)$$
 这就是一个二次型，其图像就是椭球，所以说张量可以用椭球表示。
 
张量的散度
 
我们知道张量可以表示感应电场，其实他可以表示任意种不同方向不同大小和方向的场，也就是张量场。既然有场，那就有散度的概念。已知下面的张量
 $$M=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)$$
 那么该场为
 $$f=(x,y,z)\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)$$
 散度有两种计算方式，一种是极限的计算方式
 $$divf=\underset{v\to 0}{\lim }{\oint }_{s}fds/v$$
 还有一种方式为$$divf=\nabla \cdot f=\frac{\partial f}{\partial x}+\frac{\partial f}{\partial y}+\frac{\partial f}{\partial z}$$
 采用第二种比较容易计算，那么张量场的散度为
 $$divf=\nabla \cdot f=a_{11}+a_{22}+a_{33}$$
 也就是说张量的散度就是张量的迹，可知一个方阵无论经过什么样的相似变换，它的迹不变；也就是说场无论经过什么样的坐标变换，它的散度不变。

欢迎大家来到这一期的张量分解博客学习，本期博客的主要内容就是标题，难度会加大，本人也有写的错误的地方，烦请大家不吝赐教！
 


 
Tensor decomposition
 
一. CANDECOMP/PARAFAC分解法
二. 张量的秩
三. 非负矩阵分解 (NMF)

 
一. CANDECOMP/PARAFAC分解法
 
CANDECOMP(canonical decomposition)和PARAFAC(parallel factors)是一种对高维张量进行拆分的方法, 其核心思想是用有限个的秩1张量的和来(近似地)表示该张量. 这种方法被很多人独立的发现, 不考虑历史上的因素, 我们将其称为CP分解法 (CP decomposition) ！
 
其实你可以这么理解：
 
CP分解是将一个高维的张量，分解成多个核的和，每个核是由向量的外积组成；通过这样的分解，我们可以大大地降低参数的维度。其实，不止CP分解，其他的张量分解算法都是同个道理，只是所采用的分解方法不同而已。当然，这样的分解只是原来张量的近似，没办法保证完全复原。从以上角度来说，张量分解的目的跟矩阵分解是相同的，只是一个是在二维上的分解，另一个是在高维上的分解而已！
 
这就要陆续的结合我们之前铺垫的相关知识了，检测前几期博客是否认真学习的时候到了，我们先看定义：
 

 小伙伴们千万别把它想得有多复杂，且听我一步一步的慢慢道来：
 
如果我们要把一个3阶张量 $\mathcal{X}\in {\mathbb{R}}^{I\times J\times K}$ 进行CP分解, 其结果如下：
 
$$\mathcal{X}\approx \sum _{r=1}^R{a}_r\circ b_r\circ c_r$$
 这里的 $\circ$ 是外积的意思！
 
根据上面的图，我们知道这里的 $a_r$ 之类的都是向量，通过三者之间的外积，组成一个新的矩阵，之后将新得到的矩阵求和，就是新的矩阵了， 通过外积的定义, 对张量中的每个元素都有：
 
$$x_{ijk}\approx \sum _{r=1}^R{a}_{ir}{b}_{jr}{c}_{kr}\text{ for }i=1,\dots ,I,j=1,\dots ,J,k=1,\dots ,K$$
 (这一步知道就行)
 
我们称那些上式中通过外积组成秩1张量元素的向量集合为 因子矩阵(factor matrices)，图片理解如下：
 
 例如，$\mathbf{A}=\left[\begin{array}{llll}{a}_1& a_2& \dots & a_R\end{array}\right]$ ，类似的,我们构造 $\mathbf{B}$ 和 $\mathbf{C}$ ，利用这些定义, CP分解可以被等价写作以下矩阵形式. 注意, 其左侧都是张量的对应mode的矩阵化:
 
 这个的小圆圈里面还有一点的符号代表的是 Khatri−Rao 积！
 
接下来通过例子，帮助大家理解：
 

 仔细观察这个例子，相信你很快就会发现它们的规律。
 
我们也可以将前面的张量式子改写为horizontal slices和lateral slices的形式, 需要注意的是, 这种以slice切片为主体的表达很难延伸到超过3维的张量之中. 利用Kolda的命名方式, 也可以进一步简化CP模型:
 $$\mathcal{X}\approx [\mathrm{A},\mathrm{B},\mathrm{C}]\equiv \sum _{r=1}^R{\mathrm{a}}_r\circ {\mathrm{b}}_r\circ {\mathrm{c}}_r$$
 
为了便利, 我们通常假设 $\mathbf{A}$，$\mathbf{B}$ 和 $\mathbf{C}$ s的列向量都是归一化的(normalized). 而原本的比重(weights)则被对应的向量所吸收, 写作以下形式:
 
 到现在为止, 我们都把注意力放在了3维张量上. 这是因为3维张量恰恰是应用当中最为广泛也是足够满足我们需求的张量. 对于一个N阶的张量 $\mathcal{X}\in {\mathbb{R}}^{I_1\times I_2\times \cdots I_N}$来说，他的CP分解可以被写为：
 
 CP分解并未结束，后面的知识逐渐完善之后我们再看！
 
二. 张量的秩
 
前面说过一个张量能够被写成N个向量的外积就是秩为一的，我们举个例子让大家看一下：
 
 大家应该能猜到这里的 | 表示有重叠的那种意思！那么显然，这就是一个秩为一的张量！
 
张量的秩，记作 $rank(\mathcal{X})$ , 我们可以将它 “拆开” ，拆成秩为一的张量之和，那么新张量的数目之和就是这原张量的秩：
 

 显然，这个张量的秩就是2！
 故：
 
如果一个张量能够以一个秩一张量的和表示，那么其秩则为1。
 如果一个张量能够以两个秩一张量的和表示，那么其秩则为2。
 如果一个张量能够以三个秩一张量的和表示，那么其秩为3。
 以此类推…
 
虽然理论上是这样，但是在真正的高维张量求秩的时候还是非常棘手的，目前木有特定的算法可以直接得到某给定张量的秩，一般的时候都是像上面一下用cp分解尝试！
 
三. 非负矩阵分解 (NMF)
 
通常的矩阵分解会把一个大的矩阵分解为多个小的矩阵，但是这些矩阵的元素有正有负。而在现实世界中，比如图像，文本等形成的矩阵中负数的存在是没有意义的，所以如果能把一个矩阵分解成全是非负元素是很有意义的。在NMF中要求原始的矩阵的所有元素的均是非负的，那么矩阵可以分解为两个更小的非负矩阵的乘积，这个矩阵有且仅有一个这样的分解，即满足存在性和唯一性
 
NMF的基本思想：
 NMF的基本思想可以简单描述为：对于任意给定的一个非负矩阵A，NMF算法能够寻找到一个非负矩阵U和一个非负矩阵V，使得满足 ，从而将一个非负的矩阵分解为左右两个非负矩阵的乘积！
 
对于给定矩阵 $\mathbf{V}\in {\mathbf{R}}_{+}^{\mathbf{F}\times \mathbf{N}}$，我们需要寻找 非负矩阵 $\mathbf{W}\in {\mathbf{R}}_{+}^{\mathbf{F}\times \mathbf{K}}$，$\mathbf{H}\in {\mathbf{R}}_{+}^{\mathbf{K}\times \mathbf{N}}$使得:
 $$\mathbf{V}\approx \mathbf{W}\mathbf{H}$$
 
如下图：
 
 需要注意的是，这里用了约等于，和CP分解是一个道理：当前解法并非精确解，只是数值上的近似解！
 
分解前后可理解为：原始矩阵$\mathbf{V}$的列向量是对左矩阵$\mathbf{W}$中所有列向量的加权和，而权重系数就是右矩阵对应列向量的元素，故称$\mathbf{W}$为基矩阵，$\mathbf{H}$为系数矩阵。一般情况下$\mathbf{K}$的选择要比$\mathbf{N}$小，即满足$(F\times N)K⩽FN$，这时用系数矩阵代替原始矩阵，就可以实现对原始矩阵进行降维，得到数据特征的降维矩阵，从而减少存储空间，减少计算机资源!
 
 其实说到这里，肯定还有小白不知道这个非负矩阵到底是干什么的，我用电影评分举一个简单的例子：
 
比如：
 一个电影里如果只考虑爱情和动作两个因素。
 一个用户也一定会有给爱情打分多一点还是喜欢动作多一点。
 期望就是我们已知下面的矩阵，而期望分解出比较合理的上面两个矩阵。这样就可以用来预测别的用户对别的电影的看法了！当然我这样举例其实是非常不严谨的，但是好理解！
 
那么了解的这些东西之后，最大的问题就来了，我们如何能够求解这分解的非负矩阵呢？？
 
NMF求解问题实际上是一个最优化问题，利用乘性迭代的方法求解和，非负矩阵分解是一个NP问题。NMF 问题的目标函数有很多种，应用最广泛的就是欧几里得距离和KL散度.
 
 
第一个式子我们可以理解为损失函数，需要我们求解其最小值是对应的各个矩阵，如果你用编程实现的话使用的是：乘法更新发展的迭代更新算法，其将矩阵分解算法转化为如下的优化问题，即最小化两个矩阵之间的欧几里得距离的优化问题：
 
 感兴趣的同学可以了解一下上面的这个迭代跟新算法，其实非常好理解！
 
上面都是理论部分，看不懂也莫慌，时间是检验真理的唯一标准，我们玩个小游戏：
 
 这个图我们刚刚见过，但是显然其包含的信息远不止上面那么简单，我们更多的是看它内在蕴含的规律；
 
游戏规则是这样的，任何图形乘以黑圆是它本身，任意图形加上圆形是它本身。举个例子, $\mathbf{W}$矩阵中的第二行(图中红笔圈起来的一个白圆,一个红三角)乘上H矩阵中四列,由于：
 白圆$\times$黑圆=白圆
 红三角$\times$黑圆=红三角
 白圆+红三角=红三角
 因此在V矩阵中,第二行第四列的元素为红三角；
 但同时我们也应该关注到, $\mathbf{W}$和 $\mathbf{H}$相乘并不能完全还原矩阵V.依然举例说明, $\mathbf{V}$矩阵中,第六行(也即是倒数第二行),第一列是一个白圆.
 由于W第六行是一个白圆,一个红三角. H第一列是两个白圆。
 白圆 $\times$ 白圆=白圆；
 红三角$\times$白圆=红三角；
 白圆+红三角= 红三角；
 而原矩阵中的对应结果显然不符我们推测的结果，这也间接说明我们为什么要用约等于号 ！
 
这样的处理方法会让我直接想到神经网络中的示意图也是类似于这样的感觉，看下面这个图:
 

 这个图非常好理解，通过前面定义的系数矩阵和基（特征）矩阵，将系数矩阵的每一列${\mathbf{h}}_1,{\mathbf{h}}_2,\cdots {\mathbf{h}}_{\mathbf{n}}$ 排成上面蓝色的小球球，一次乘以矩阵 $\mathbf{W}$ 原矩阵的 每一列$\mathbf{v}$ 就求出来了，它将原矩阵,权重矩阵以及特征矩阵的关系更加清晰的展现出来了,我们可以看到系数与特征进行线性操作之后可以得到原矩阵，其和神经网络的本质也是一样的,神经网络靠着对特征的学习,得出权重,也是以权重乘以特征的方式去得到最终的答案.NMEE理上等性方程组，这个理解了上面的示意图就非常简单了！
 
NMF算法在是真正实现的是时候还有一个特别的地方，就是分解新矩阵的参数K的选择，这就像神经网络里面的调参一样，是个玄学，其中不同的K对于不同模型情况如下：
 
数据拟合：K越大那么对于数据拟合更好。
模型复杂性：一个更小的K模型更简单（易于预测、少输入参数等）
 
下面为声频处理时候不同K的表现：
 
 
本期的博客学习就到这里了，下一期我会向大家详细的介绍 张量的另一种分解方法—— 压缩与Tucker分解法，并简单的看一下奇异值分解的相关内容，大家加油！

 
文章目录
 
Divergence Measures
介绍
KL-Divergence 一种信息论的解释
熵
   
散度的性质
散度的不变性
补充：MMD ：maximum mean discrepancy
补充：Wasserstein距离
  
参考资料

 
Divergence Measures
 
介绍
 
在机器学习中，我们常常需要用一个分布Q去逼近一个目标分布P，我们希望能够找到一个目标函数$D(Q,P)$，计算Q到P的距离。而这一个目标函数，正是Divergence(散度)，比如常见的KL-Divergence，JS-Divergence等等。通过这个散度的计算我们就能不断地去优化我们的Q，寻找一个最优的参数去逼近真实的分布P。注意，散度跟距离不一样，他没有距离的对称性($d(x,y)=d(y,x)$)或是三角不等式($d(x,y)\le d(x,z)+d(z,y)$)的要求。
 
KL-Divergence 一种信息论的解释
 
在机器学习中，最常见的散度就是KL散度了（它还有很多名字，比如：relative entropy, relative information。），那么KL散度究竟是何方神圣？它的著名到底是历史的原因还是因为它本身优良的性质呢？
 
用一句话来说，KL散度,$KL(P\Vert Q)$可以理解为，用来衡量在同一份数据P下，使用P的编码方案和Q的编码方案的平均编码长度的差异。
 
熵
 
为了理解这个问题，我们先从熵讲起。一个随机变量X的概率密度函数为$p(x)$，那么X的熵定义为：
 $$H(X)=-\sum _{x}p(x){\log }_{2}p(x)$$
 这里用2为底数就表示比特。熵可以看做是一个分布的不确定的程度，显然，在离散的情况下，均匀分布的熵总是最大的，此时的不确定性也是最大的。从信息的角度来看，熵是为了描述该随机变量所需要的平均比特数。
 
例子：考虑一个服从均匀分布且有32种可能结果的随机变量。为了确定一个结果，我们需要5个比特的编码来告诉我们到底出现了哪种可能。该随机变量的熵恰好为：
 $$H(X)=-\sum _{i=1}^{32}\frac{1}{32}{\log }_2\frac{1}{32}=5比特$$
 在这种情况下，每个可能出现的状态的长度都是一样的，他们长度都是5个比特。但是如果随机变量不是均匀分布呢？在这种情况下，我们完全可以让出现概率较大的结果给他分配一个比较小的编码长度，从而总体的平均编码长度可以下降。
 
例子： 有8匹马参加赛马比赛。8匹马的胜率分布为：$P=\left\{\frac{1}{2},\frac{1}{4},\frac{1}{8},\frac{1}{16},\frac{1}{64},\frac{1}{64},\frac{1}{64},\frac{1}{64}\right\}$，可以计算该比赛的熵为：
 $$H(X)=-\frac{1}{2}{\log }_2\frac{1}{2}-\frac{1}{4}{\log }_2\frac{1}{4}-\frac{1}{8}{\log }_2\frac{1}{8}-\frac{1}{16}{\log }_2\frac{1}{16}-4\ast \frac{1}{64}{\log }_2\frac{1}{64}=2比特$$
 
此时，假定我们要把哪匹马会获胜的消息发送出去， 其中一个策略是发送胜出马的编号。 这样， 对任何一匹马， 描述需要３比特。 但由于获胜的概率不是均等的， 因此， 明智的方法是对获胜可能性较大的马使用较短的描述， 而对获胜可能性较小的马使用较长的描述。 这样做， 我们会获得一个更短的平均描述长度。 例如，使用以下的一组二元字符串来表示８匹马：0, 10, 110, 1110, 111100, 111101, 111110，111111。 此时, 平均描述长度为２比特， 比使用等长编码时所用的３比特小。可以证明任何随机变量的熵必为表示这个随机变量所需要的平均比特数的一个下界。注意到这里的$-{\log }_2\frac{1}{2}=1,-{\log }_2\frac{1}{4}=2...-{\log }_2\frac{1}{64}=6$恰好对应着最优编码的长度！也就是说，我们理解${\log }_{2}p(x)$为分布p在x上的最优的编码长度。
 
那么如果，我们换一套编码方案去表示这场比赛会怎样？假设另外一场赛马比赛的胜率分布为均匀分布：$Q=\left\{\frac{1}{8},\frac{1}{8},\frac{1}{8},\frac{1}{8},\frac{1}{8},\frac{1}{8},\frac{1}{8},\frac{1}{8}\right\}$，显然它对应的最优编码一定是，每匹马都是3个比特，因为他们服从均匀分布。那么在均匀分布的编码下这场比赛的平均编码长度是：
 $$\left(\frac{1}{2}+\frac{1}{4}+\frac{1}{8}+\frac{1}{16}+\frac{1}{64}+\frac{1}{64}+\frac{1}{64}+\frac{1}{64}\right)\ast 3=3$$
 也就是说，使用Q方案的编码，在这次比赛中，他的平均编码长度比最优的编码多了1比特！而这，正是P和Q的KL散度！即$KL(P\Vert Q)=1$，可以验证：
 $$KL(P\Vert Q)=\sum _{x}P(x){\log }_2\frac{P(x)}{Q(x)}=1$$
 
此外，KL散度还可以写作：$KL(P\Vert Q)={\sum }_{x}P(x){\log }_{2}P(x)-{\sum }_{x}P(x){\log }_{2}Q(x)$$ $所以，我们可以理解为,在同一份数据P下，使用P的编码方案和Q的编码方案的平均编码长度的差异。
 
散度的性质
 
下面介绍3个公理，注意，只有KL距离能够满足下面所有的公理。
 
Locality. 该性质可以认为该距离是一个关于“点”的距离，通过比较每个点的距离从而得到整个分布的距离，即，相对信息可以写成：$D(Q,P)=\int f(q(x),p(x),x)dx$, 其中f是一个任意的函数，我们只比较$q(x),p(x^{\prime })$在$x=x^{\prime }$上的距离，当然我们可以推广到右梯度的情况，不过本质上还是点与点之间的比较：$D(Q,P)=\int f(q(x),p(x),x,\nabla q(x),\nabla p(x))dx$。
Coordinate invariance坐标不变性，不管坐标系怎么办，两个分布的散度都应该是不变的，形式化的说，如果x存在一个变换$\varphi$使得$\tilde{x}=\varphi (x)$，那么变换后的散度满足：$D\left(\tilde{Q},\tilde{P}\right)=\int f\left(\tilde{q}\left(\tilde{x}\right),p\left(\tilde{x}\right),\tilde{x}\right)d\tilde{x}=\int f\left(\frac{\left(q\circ {\varphi }^{-1}\right)\left(\tilde{x}\right)}{|\det \frac{\partial \varphi }{\partial x}|},\frac{\left(q\circ {\varphi }^{-1}\right)\left(\tilde{x}\right)}{|\det \frac{\partial \varphi }{\partial x}|},{\varphi }^{-1}\left(\tilde{x}\right)\right)d\tilde{x}=D(Q,P)$
Subsystem independence,如果存在子系统相互独立，那么考虑$p(x_1,x_2)$与$p(x_1)p(x_2)$就是等价的。换句话说，这里存在对数可加性（这里或许我理解的不对，详情请看[2]）
 
实际上，如果不需要满足或部分满足上面的公理，我们就能得到各种各样不同的divergence。但是，违反公理2会导致梯度的计算有偏，违反公理3会导致计算开销很大。这也从侧面反应出，KL距离是表示相对信息最合理的一个。
 
f-divergences, $D_f(Q,P)=\int f\left(\frac{q(x)}{p(x)}\right)p(x)dx$,其中f是任意的strictly convex function,当$f̸=x\log x$时，他违反了公理3.
Stein divergence, $D(Q,P)={\sup }_{f\in \mathcal{F}}{E}_q[\nabla \log p(x)f(x)+\nabla f(x){]}^2$,其中f是所有满足$E_p[\nabla \log p(x)f(x)+\nabla f(x)]=0$的平滑函数。违反公理2,3
Craner/energy distance $D(Q,P)=2E[\Vert x-y\Vert ]-E[\Vert x-x^{\prime }\Vert ]-E[\Vert y-y^{\prime }\Vert ]$, 其中$x,x^{\prime }\sim P$,$y,y^{\prime }\sim Q$,违反所有公理。如果将Euclidean norm$| \ | $换成geodesic distance 可以满足公理2.
Wasserteub dustabce $D_p(Q,P)={\left[{\inf }_{\rho }\int dxd{x}^{\prime }\Vert x-x^{\prime }{\Vert }^p\rho (x,x^{\prime })\right]}^{\frac{1}{p}}$其中$\rho :{\mathbb{R}}^d\times {\mathbb{R}}^d\to {\mathbb{R}}^{+}$是一个密度函数，其边缘密度满足$\rho (x)=q(x),\rho (x^{\prime })=p(x)$，这个$\rho$应该可以给定边缘密度然后用copula函数来构造。该距离违反所有3个公理。如果将Euclidean norm$||||$换成geodesic distance 可以满足公理2.
Fisher distance $D(Q,P)=E_p\left[\Vert {\nabla }_x\ln p(x)-{\nabla }_x\ln q(x){\Vert }^2\right]$,满足公理1，还可以推广到度量空间从而满足不变性，满足公理2.
Max-min distance (MMD) $D(Q,P)={\sup }_f(E[f{]}_Q-E[f{]}_P)$,其中f连续有界。违反公理3.
 
散度的不变性
 
当数据的坐标系发生变换后，两个分布的散度还是一样的吗？如果不能他会变成怎样？这一节就是为了探索这个问题。
 
 
在上图x是没有变换的坐标系，而$\tilde{x}=\varphi (x)$则是经过一个可逆函数$\phi $变换后得到的值，经过变换后，下表列出了所有统计量会出现的变化
 
 
根据表格的公式，我们可以发现两个有趣的事实
 
 
即使坐标发生了变化，但是密度与测度的乘积是不变的： $\tilde{p}\left(\tilde{x}\right)d\tilde{x}=\frac{p\circ {\varphi }^{-1}\left(\tilde{x}\right)}{|\det \frac{\partial \varphi }{\partial x}|}|\det \frac{\partial \varphi }{\partial x}|dx=p(x)dx$
 
 
概率密度的比率也是不变的：$\frac{\tilde{p}\left(\tilde{x}\right)}{\tilde{q}\left(\tilde{x}\right)}=$$\frac{p\circ {\varphi }^{-1}\left(\tilde{x}\right)}{|\det \frac{\partial \varphi }{\partial x}|}$$\frac{|\det \frac{\partial \varphi }{\partial x}|}{q\circ {\varphi }^{-1}\left(\tilde{x}\right)}=\frac{p(x)}{q(x)}$
 
 
性质2恰恰说明了为什么在统计学中为什么似然比率这么常见，因为对于比率来说，他对数据的坐标系是不敏感的。同时这也说明了为什么散度只有在$D(P,Q)=\int f(p(x),q(x),x)dx=\int f\left(\frac{p(x)}{q(x)}\right)p(x)dx$时才会有invariant的性质（f-divergences）
 
如果散度中包含梯度，想要满足invariant的性质就更加困难了，因为梯度经过变换后是会形成一个张量的，想要有不变性，我们必须把这个张量给消除掉（乘一个逆）。举个例子，对于$({\nabla }_x\ln p(x){)}^T{\nabla }_x\ln p(x)$来说肯定不满足不变性，如果要满足就要在他们中间乘一个张量G来消掉他们的变化:$({\nabla }_x\ln p(x){)}^T{G}^{-1}{\nabla }_x\ln p(x)$ . 也就是说，对于Fisher distance，需要将$L_2$ norm的散度，替换成可以抵消其变化的模才能保证其不变性。
 
补充：MMD ：maximum mean discrepancy
 
MMD:
 $$D(Q,P)=\underset{f\in \mathcal{F}}{\sup }(E[f{]}_Q-E[f{]}_P)$$
 MMD的思想是两个分布是相同的，那么对于任意变换后的均值也应该是相等的，那么这个函数到底取什么呢？其中的一种方法就是用kernel trick，该方法认为f是将x映射到希尔伯特空间上的映射，用$\phi $表示，于是其散度可以用以下kernel函数计算。
 $$\begin{array}{rl}\Vert \frac{1}{m}\sum _{i=1}^m\varphi (x_i)-\frac{1}{n}\sum _{j=1}^n\varphi (y_i){\Vert }_{\mathcal{H}}^2& =<\frac{1}{m}\sum _{i=1}^m\varphi (x_i)-\frac{1}{n}\sum _{j=1}^n\varphi (y_i),\frac{1}{m}\sum _{i=1}^m\varphi (x_i)-\frac{1}{n}\sum _{j=1}^n\varphi (y_i)>\\ & =\frac{1}{m^2}<\sum _{i=1}^m\varphi (x_i),\frac{1}{m}\sum _{i=1}^m\varphi (x_i)>+...\\ & =\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^{m}k(x_i,x_j)+\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^{n}k(y_i,y_j)-\frac{2}{mn}\sum _{i=1}^m\sum _{j=1}^{n}k(x_i,y_j)\end{array}$$
 这个方法的直觉在于，如果$\varphi (x)=x$的话，就相当于比较两个分布的均值，如果$\varphi (x)=\left[x{x}^2\right]$的话，就相当于比较均值和方差，那么如果φ足够复杂，我们就能够精确地计算两个分布间的差异！
 
补充：Wasserstein距离
 
该补充来自：https://zhuanlan.zhihu.com/p/25071913 ，是一篇非常棒的文章
 注意Wasserstein距离不是散度，因此它是对称的，满足三角不等式等距离的性质。Wasserstein距离又叫Earth-Mover（EM）距离，定义如下：
 $$W(P_r,P_g)=\underset{\gamma \sim \Pi (P_r,P_g)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }[||x-y||]$$
 解释如下：$\Pi (P_r,P_g)$是$P_r$和$P_g$组合起来的所有可能的联合分布的集合，反过来说，$\Pi (P_r,P_g)$中每一个分布的边缘分布都是$P_r$和$P_g$。对于每一个可能的联合分布$\gamma$而言，可以从中采样$(x,y)\sim \gamma$得到一个真实样本x和一个生成样本y，并算出这对样本的距离$||x-y||$，所以可以计算该联合分布$\gamma$下样本对距离的期望值${\mathbb{E}}_{(x,y)\sim \gamma }[||x-y||]$。在所有可能的联合分布中能够对这个期望值取到的下界${\inf }_{\gamma \sim \Pi (P_r,P_g)}{\mathbb{E}}_{(x,y)\sim \gamma }[||x-y||]$，就定义为Wasserstein距离。
 
直观上可以把${\mathbb{E}}_{(x,y)\sim \gamma }[||x-y||]$理解为在$\gamma$这个“路径规划”下把$P_r$这堆“沙土”挪到$P_g$“位置”所需的“消耗”，而$W(P_r,P_g)$就是“最优路径规划”下的“最小消耗”，所以才叫Earth-Mover（推土机）距离。
 
Wasserstein距离相比KL散度、JS散度的优越性在于，即便两个分布没有重叠，Wasserstein距离仍然能够反映它们的远近。
 
参考资料
 
[1] Cover, Thomas M., and Joy A. Thomas. Elements of information theory. John Wiley & Sons, 2012.
 [2] short notes on divergence measures
 [3] Caticha, Ariel. “Relative entropy and inductive inference.” AIP conference proceedings. Vol. 707. No. 1. AIP, 2004.
 [4]  CCN2018 tutorial : Deep Generative Models
 [5] Ariel Caticha. Relative entropy and inductive inference. In AIP Conference Proceedings, volume 707, pages

网站、
 
https://wenku.baidu.com/view/ab76fe504b73f242336c5f81.html
 
（介绍二阶张量的梯度和散度）