torch.cosine_similarity 可以对两个向量或者张量计算相似度

>>> input1 = torch.randn(100, 128)

>>> input2 = torch.randn(100, 128)

>>> output = torch.cosine_similarity(input1, input2, dim=1)

print(output.shape)

torch.Size([100])


hg1 = torch.FloatTensor(torch.randn([12]))

hg2 = torch.FloatTensor(torch.randn([12]))

torch.cosine_similarity(hg1, hg2, dim=0)

tensor(-0.1543)

pytorch计算欧式距离

torch.dist(hg1, hg2, p=2)

如果自己写的话就是：（因为很简单，大多数人自己写），Pytorch里封装了这个距离函数

torch.sqrt(torch.sum((hg1-hg2)**2))

Hamming 距离，汉密尔顿距离

torch.dist(hg1, hg2, p=1)

转动惯量和惯性张量’的定义

转动惯量是表征刚体转动惯性大小的物理量，它与刚体的质量、质量相对于转轴的分布有关。

大家都知道动能E=(1/2)mv¬2，而且动能的实际物理意义是：物体相对某个系统（选定一个参考系）运动的实际能量，（P势能实际意义则是物体相对某个系统运动的可能转化为运动的实际能量的大小）。 


E=(1/2)mv¬2 （v¬2为v的2次方） 

把v=wr代入上式 (w是角速度,r是半径，在这里对任何物体来说是把物体微分化分为无数个质点，质点与运动整体的重心的距离为r,而再把不同质点积分化得到实际等效的r) 

得到E=(1/2)m(wr)¬2 

由于某一个对象物体在运动当中的本身属性m和r都是不变的，所以把关于m、r的变量用一个变量K代替, 

K=mr¬2 

得到E=(1/2)Kw¬2 

K就是转动惯量，分析实际情况中的作用相当于牛顿运动平动分析中的质量的作用，都是一般不轻易变的量。 


这样分析一个转动问题就可以用能量的角度分析了，而不必拘泥于只从纯运动角度分析转动问题。 


为什么变换一下公式就可以从能量角度分析转动问题呢？ 

1、E=(1/2)Kw¬2本身代表研究对象的运动能量 

2、之所以用E=(1/2)mv¬2不好分析转动物体的问题，是因为其中不包含转动物体的任何转动信息。 

3、E=(1/2)mv¬2除了不包含转动信息，而且还不包含体现局部运动的信息，因为里面的速度v只代表那个物体的质心运动情况。 

4、E=(1/2)Kw¬2之所以利于分析，是因为包含了一个物体的所有转动信息，因为转动惯量K=mr¬2本身就是一种积分得到的数，更细一些讲就是 

综合了转动物体的转动不变的信息的等效结果K=∑ mr¬2 （这里的K和上楼的J一样） 

所以，就是因为发现了转动惯量，从能量的角度分析转动问题，就有了价值。



惯性质量的概念“质量是物体惯性大小的量度”出现在高中物理教材中，要明确一切物体都具有惯性，惯性的表现形式又因物体的运动形式的不同而不同．对于质点的运动和低速情况下的物体的平动来说，惯性可以用质量的大小来量度．但是，当物体作转动时，就不能单一地用质量来量度物体贯性的大小了，这时需要用所谓“转动惯量”来描述惯性的大小．而转动惯量除与物体质量的大小有关外，还与物体的转轴的选取和质量的分布有关．对于高速运动的物体，其惯性表现得就更为复杂，此时需要用“惯性张量”来描述．因此，质量并不能完善地描述所有情况下惯性的大小，只有在特定的情况下（物体作低速平动），才可以作为惯性的量度

惯性张量，说的通俗一点就是我们说的转动惯量，因为有不同方向的分量，把他们合在一起用一个张量就可以表示，这个张量就是惯性张量，也叫惯量张量

空间惯量张量应该是二阶张量，其坐标是6×6的矩阵，张量可以看成是有两个方向的量（针对二阶），或者就是两向量的并失，我个人的理解，N维张量空间就是一个N维笛卡尔空间（不知是否正确，欢迎大家指正），其实如果考虑到柔性，一个体的惯量张量就不是6×6的矩阵了，这个就要看实际应用中如何截取模态了。

梯度（gradient）是张量运算的导数。它是导数这一概念向多元函数导数的推广。多元函数是以张量作为输入的函数。

假设有一个输入向量 x、一个矩阵 W、一个目标 y 和一个损失函数 loss。你可以用 W 来计算预测y_pred，然后计算损失，或者说预测值 y_pred 和目标 y 之间的距离。

y_pred = dot(W, x)

loss_value = loss(y_pred, y)

如果输入数据 x 和 y 保持不变，那么这可以看作将 W 映射到损失值的函数。

loss_value = f(W)

假设 W 的当前值为 W0。f 在 W0 点的导数是一个张量 gradient(f)(W0)，其形状与 W 相同，每个系数 gradient(f)(W0)[i, j] 表示改变 W0[i, j] 时 loss_value 变化的方向和大小。

张量 gradient(f)(W0) 是函数 f(W) = loss_value 在 W0 的导数。前面已经看到，单变量函数 f(x) 的导数可以看作函数 f 曲线的斜率。同样，gradient(f)(W0) 也可以看作表示 f(W) 在 W0 附近曲率（curvature）的张量。
随机梯度下降
给定一个可微函数，理论上可以用解析法找到它的最小值：函数的最小值是导数为 0 的点，因此你只需找到所有导数为 0 的点，然后计算函数在其中哪个点具有最小值。

将这一方法应用于神经网络，就是用解析法求出最小损失函数对应的所有权重值。可以通过对方程 gradient(f)(W) = 0 求解 W 来实现这一方法。这是包含 N 个变量的多项式方程，其中 N 是网络中系数的个数。
链式求导：反向传播算法
在前面的算法中，我们假设函数是可微的，因此可以明确计算其导数。在实践中，神经网络函数包含许多连接在一起的张量运算，每个运算都有简单的、已知的导数。例如，下面这个网络 f 包含 3 个张量运算 a、b 和 c，还有 3 个权重矩阵 W1、W2 和 W3。

f(W1, W2, W3) = a(W1, b(W2, c(W3)))

根据微积分的知识，这种函数链可以利用下面这个恒等式进行求导，它称为链式法则（chain rule）：(f(g(x)))’ = f’(g(x)) * g’(x)。将链式法则应用于神经网络梯度值的计算，得到的算法叫作反向传播（backpropagation，有时也叫反式微分，reverse-mode differentiation）。反向传播从最终损失值开始，从最顶层反向作用至最底层，利用链式法则计算每个参数对损失值的贡献大小。
在所有训练数据上迭代一次叫作一个轮次（epoch）

  在前面的学习中，我们已经比较详细地学习了四种张量分解，接下来，我们就将进入张量网络的学习。
一.新的方法
  当张量的阶数超过了3阶后，我们要去形象地描绘这个张量就会显得困难，为了方便，现在引入一种新的张量表示方法。
使用新的方法描绘各阶张量
  对于一个矩阵，可以将行作为起始地点，将列作为目标地点，那么对应的元素值可以代表起始地点到目标地点的距离，类似的，我们把矩阵的行作为输入，列作为输出，行数可以使用指标i代表输入空间的维数，列数可以用指标j代表输出空间的维数，并用类似电路的图形来表示：



这表示一个二阶张量，一条边表示一个维度，对其进行推广就是n阶张量可以由一个节点邻接n条边来表示，标量就可以只由一个节点来表示，所以：


对于更高阶的张量，我们依旧可以这么做，但是我们还能为其附加上更多含义：



加上一个大圈可以表明哪些维度当做内部结构，比如上图的四阶张量是以三阶张量作为内部结构，五阶张量前者以三阶张量作为内部结构，后者以二阶张量作为内部结构，当然，也可以不止这么一个圈，比如：



第一个粉圈代表第一个内部结构，第二个蓝圈代表第二个内部结构。
使用新的方法描绘各阶张量的运算
  这种新的张量描绘方法的特点是：张量本身由节点（对于节点长什么样还并未作出定性要求）表示，指标由连接节点的边表示；不同张量的公共指标由连接对应节点的边表示，默认进行求和。


外积：




内积：




矩阵的迹：一个自环




矩阵的迹还具有循环特性:



缩并：矩阵乘法实际就是缩并，只要有一条公共边张量阶数之和就降两阶

矩阵和矩阵相乘：



矩阵和向量相乘：



高阶张量和高阶张量的缩并（这里进行了两次缩并）：



使用新的方法描绘张量分解


普通的矩阵分解如图：



这里将一个矩阵分解成了四个矩阵的乘积。


SVD分解



上图最后一个等号右边的左右奇异矩阵为方形但奇异值矩阵为一个三角形且连接的边是弯的，这也说明，这种新的方法并未对节点和边的形状作定性要求，只要合理即可（比如奇异值矩阵可以是一个对角阵，所以它用一个三角形来表示可以突出矩阵的特点）。


CP分解



这里将一个四阶张量通过CP分解分解成R个秩一张量的和，每个秩一张量等于四个向量的外积。


Tucker分解

对于一个三阶张量 A ，它可以分解为一个核心张量和三个（不同模态下的）正交矩阵的模乘：




二.张量网络
什么是张量网络
  将多个张量(包含向量、矩阵、高阶张量)按照特定规则缩并，形成一个网络，称为张量网络，张量网络可以说是将张量内部缩并关系抽象出来的成果，大概就长成下面这样：

传统绘图法与张量网络法
  下图（a）展示的是一个三阶张量与一个矩阵的模乘，图（b）是图（a）的推广，张量与矩阵的模乘也是一种缩并，显然这种缩并关系用张量网络表示显得更形象。



  这种新的方法将为接下来有关某些重要的张量网络（矩阵乘积态、投影纠缠对态等等）的进一步学习打下基础。
参考资料链接：

https://rajatvd.github.io/Factor-Graphs/

https://www.math3ma.com/blog/matrices-as-tensor-network-diagrams

https://www.bilibili.com/video/BV17z411i7yM/