YDOOK：Pytorch教程：tensor 张量相乘 矩阵相乘

© YDOOK Jinwei Lin, shiye.work

import torch
import numpy as np

t = torch.tensor([[1, 2, 3], [4, 5, 6]])

print(t)

# 输出转置张量
print(t.T)

# 矩阵相乘
t_mul = t.matmul(t.T)

print('t = ', t)
print('t.T = ', t.T)
print('\n2X3张量与3X2张量相乘，得到2X2张量：')
print('t_mul = ', t_mul)

outcome：

tensor([[1, 2, 3],
        [4, 5, 6]])
tensor([[1, 4],
        [2, 5],
        [3, 6]])
t =  tensor([[1, 2, 3],
        [4, 5, 6]])
t.T =  tensor([[1, 4],
        [2, 5],
        [3, 6]])

2X3张量与3X2张量相乘，得到2X2张量：
t_mul =  tensor([[14, 32],
        [32, 77]])

Process finished with exit code 0

如果是二维的矩阵相乘，那就跟平时咱们做的矩阵乘法一样：

a = torch.tensor([[1,2], [3,4]])

a
Out[31]: 
tensor([[1, 2],
        [3, 4]])
        
b = torch.tensor([[2,2], [3,4]])

b
Out[33]: 
tensor([[2, 2],
        [3, 4]])
        
torch.matmul(a, b)
Out[34]: 
tensor([[ 8, 10],
        [18, 22]])
        
torch.matmul(a, b).shape
Out[35]: torch.Size([2, 2])

如果维度更高呢？前面的维度必须要相同，然后最里面的两个维度符合矩阵相乘的形状限制：i×j，j×k。

a = torch.tensor([[[1,2], [3,4], [5,6]],[[7,8], [9,10], [11,12]]])

a
Out[37]: 
tensor([[[ 1,  2],
         [ 3,  4],
         [ 5,  6]],
        [[ 7,  8],
         [ 9, 10],
         [11, 12]]])
         
a.shape
Out[38]: torch.Size([2, 3, 2])

b = torch.tensor([[[1,2], [3,4]],[[7,8], [9,10]]])
b
Out[40]: 
tensor([[[ 1,  2],
         [ 3,  4]],
        [[ 7,  8],
         [ 9, 10]]])
         
b.shape
Out[41]: torch.Size([2, 2, 2])

torch.matmul(a, b)
Out[42]: 
tensor([[[  7,  10],
         [ 15,  22],
         [ 23,  34]],
        [[121, 136],
         [153, 172],
         [185, 208]]])

# a 和 b 的最外面的维度都是 2，相同。
# 最里面两个维度分别是 3 × 2 和 2 × 2，那么乘完以后就是 3 × 2
torch.matmul(a, b).shape
Out[43]: torch.Size([2, 3, 2])

这里举一个例子，在某一篇论文的代码中，作者使用matmul的场景。

简单地说，就是用过matmul()函数实现subject 的 lookup

假设有下面这么一个矩阵，shape为[batch_size, 1, seq_len]，该矩阵的含义是，最里面的每一个$[{]}_{se{q}_{l}en}$表示一个句子的序列，如果元素为1，则表示该下标可以作为subject的head index。并且在每一行中，只有一个1。也就是只有一个subject的head index。

现在有另外一个矩阵，shape为[batch_size, seq_len, bert_dim]。该矩阵的含义是整个batch的text（[batch_size, seq_len]）经过经过bert encoder之后得到的。

根据前面说的，二者相乘，得到的shape是[batch_size, 1, bert_dim]。

比如第一行 $$[0,1,0,....0,0]\times bertencode之后的矩阵=[0.3,0.1,...,0]$$

最后得到的是subject在bert encode之后的空间中look up，或者说嵌入以后的向量。

Python：Tensorflow中两个稀疏张量相乘

博主在想让两个稀疏张量进行相乘时，发现不能用tf.matmul、tf.sparse_matmul、tf.sparse_tensor_dense_matmul，看来tf内置的没有对两个SparseTensor相乘的函数，于是，我在网上找了相关的方法，终于功夫不负有心人。

原文请点击这里https://www.it1352.com/1886186.html。     

代码如下：

 M = tf.SparseTensor(indices=ind, values=val, dense_shape=[e, e])    #计算值后的反转后的图
  M2=tf.matmul(tf.sparse_tensor_to_dense(M,0.0),tf.sparse_tensor_to_dense(M,0.0),a_is_sparse=True,b_is_sparse=True)