Python/Numpy之点积叉积内积外积张量积
 
 
 
内积（内积、标量积、数量积、点积、点乘）a与b的内积为 a·b = |a||b|cos∠(a, b)，结果为标量（一个数）
 外积（叉乘）：向量a与b的外积a×b是一个向量，其长度等于|a×b| = |a||b|sin∠(a,b)，其方向正交于a与b。并且，(a,b,a×b)构成右手系。(外积是张量积的一种形式)
 张量积：Kronecker product a⊗b
 
 
1.内积、外积、张量积、对应元素相乘
 
内积：innerx = np.dot(arr1,arr2)
外积：outerx = np.outer(arr1,arr2)
张量积：kronx = np.kron(arr1,arr2)
对应元素相乘：mul = arr1 * arr2 # 只有这种方式是元素相乘，其余都是矩阵相乘运算规则
 
2. 举例如下
 
>>> arr1 = np.array([1,2,3])
>>> arr2 = np.array([2,3,4])
# 外积
>>> outerx = np.outer(arr1,arr2)
>>> outerx
array([[ 2,  3,  4],
       [ 4,  6,  8],
       [ 6,  9, 12]])
# 内积
>>> dotx = np.dot(arr1,arr2)
>>> dotx
20
# 张量积
>>> kronx = np.kron(arr1,arr2)
>>> kronx
array([ 2,  3,  4,  4,  6,  8,  6,  9, 12])
# 对应元素乘积
>>> mul = a * b
>>> mul
array([1, 4, 9])
 
 
 
更多Python数据科学相关见专题Python数据科学技能索引
 点乘与叉乘
 向量内积外积，为啥要叫「内」「外」？
 python实现矢量积、叉积、外积、张量积
 

张量积的定义为：给定两个有限维的向量空间（finite dimensional vector space） 和 ，其中， 为向量空间 的基（basis）， 为向量空间 的基，则我们可以将 定义为 个 的线性组合，即
 
 .
 
同时，双线性映射（bilinear map，如果仅仅关注张量积的计算，则不必深究这个概念）被定义为
 
 
其中， ，对于任意取自向量空间 和 下的向量，我们都可以用相应的基进行线性组合来表示出来，若 为向量 线性组合的系数， 为向量 线性组合的系数，则满足 。另外， 表示两个向量空间的Cartesian积（维基链接：Cartesian product）。
 
为了便于理解，这里举一个简单的例子（来源：Calculate the tensor product of two vectors）。
 
已知 下的一组标准基为 ， ， 下的一组标准基为 ， ， 。给定向量 ，向量 ，则向量 的张量积为
 
 
   
 
其中， 是 的基，张量积与外积的计算结果完全相同。
 
 
 
import numpy as np
 
 
x = np.array([[1], [1]])
 
 
y = np.array([[1], [-2], [1]])
 
 
np.kron(x, y.T)
 
 
np.outer(x, y)
 
对于任意向量 ， ，它们的张量积 有时被称为外积，如果 是 的基，且 ，   是标准基，则外积可以写成如下形式：
 
 
其中， 是矩阵 第 行、第 列的元素。
 
对于向量而言，张量积和外积是等价的。

笛卡尔积
 
$V$ 是一个域(这里我们取实数域$R$)上的m维线性空间. 在$V$中选基矢 $(e_1,\cdots ,e_m)$, $V$中元素$a\in V$ :
 $$a=\sum _{i=1}^m{a}^i{e}_i$$
 其中$a^1,\cdots ,a^m$均为实数. 对于给定的一组基矢，$a$ 可用 $(a^1,\cdots ,a^m)$表示.
 
实数域上n维线性空间$W$选基矢 $(f_1,\cdots ,f_n)$, $W$中元素$b$:
 $$b=\sum _{i=1}^n{b}^i{f}_i$$
 $b$可表示为 $(b^1,\cdots ,b^n)$, 其中$b^1,\cdots ,b^m$均为实数.
 
$V\times W$是线性空间$V$和线性空间$W$的笛卡尔积. $V\times W$中元素是一个有序对$(a,b)$, 它的基矢可为$(e_1,\cdots ,e_m,f_1,\cdots ,f_n)$. $(a,b)$可由 m+n 个实数确定:
 $$(a,b)=(a^1,\cdots ,a^m,b^1,\cdots ,b^n)$$
 
所以$V\times W$是 m+n 维空间
 
张量积
 
$$V^{\ast }=Hom(V,R)$$
 是$V$到$R$的同态映射(保持线性空间结构的映射)的集合, 称为$V$ 的对偶空间. 它是m维线性空间$V$上实线性函数的集合，也是在实数域$R$上的m维线性空间.
 
$V$ 的对偶空间$V^{\ast }$中 选出一组函数 $({\varrho }^1,\cdots ,{\varrho }^m)$, 令
 $${\varrho }^i(e_j)={\delta }_j^i=\{\begin{array}{c}1,i=j\\ 0,i̸=j\end{array}$$ 则
 $${\varrho }^i(a)={\varrho }^i(a^j{e}_j)=a^j({\varrho }^i(e_j))=a^j{\delta }_j^i=a^i$$
 
设有$f\in V^{\ast }$, 则
 $$f(a)=f(a^i{e}_i)=a^{i}f(e_i)={\varrho }^i(a)f(e_i)$$
 其中$f(e_i)$ 是一依赖于$f$的实数，令实数$f_i=f(e_i)$, 则
 $$f(a)=f_i{\varrho }^i(a)=f_1{\varrho }^1(a)+\cdots +f_m{\varrho }^m(a)$$
 说明$f$可以表示成$({\varrho }^1,\cdots ,{\varrho }^m)$的线性组合。
 线性函数空间$V^{\ast }$中的零函数记为0. 设有一组实数$(c_1,\cdots ,c_m)$使
 $$c_1{\varrho }^1+\cdots +c_m{\varrho }^m=0$$
 将上式两边同时作用于$e_i$, 可得 $c_i=0$. 说明 $({\varrho }^1,\cdots ,{\varrho }^m)$线性无关.
 
综述所述， $({\varrho }^1,\cdots ,{\varrho }^m)$ 是空间$V^{\ast }$的一组基函数。
 
同理，
 $$W^{\ast }=Hom(W,R)$$
 是n维线性空间$W$上实线性函数的集合，称为$W$ 的对偶空间. 它是在实数域$R$上的n维线性空间.
 
$W$ 的对偶空间$W^{\ast }$中 选相应的对偶基矢 $({\sigma }^1,\cdots ,{\sigma }^n)$,
 $${\sigma }^j(b)={\sigma }^j(b^k{f}_k)=b^k{\delta }_k^j=b^j$$
 
$V\times W$ 上双线性函数集合 $Hom(V\times W,R)$ 称为 $V^{\ast }$ 和 $W^{\ast }$的张量积空间, 记为：
 $$V^{\ast }\otimes W^{\ast }=Hom(V\times W,R)$$
 
它也是实数域$R$上线性空间，它的空间维数是 $m\times n$ . 这是与笛卡尔积的一个重要区别.
 
张量积空间的维度为什么是 $m\times n$
 
两个线性空间$V$ 和$W$的笛卡尔积$V\times W$是线性空间，其元素表示为：
 $$(a,b)\in V\times W,a\in V,b\in W$$
 
取一个双线性函数$h\in V^{\ast }\otimes W^{\ast }$ 作用于 $V\times W$空间中一个元素 (a,b)
 
$$<h;(a,b)>=<h;(\sum _i^m{a}^i{e}_i,\sum _j^n{b}^j{f}_j)>=\sum _i^m\sum _j^n{a}^i{b}^j<h;(e_i,f_j)>=\sum _i^m\sum _j^n{a}^i{b}^j{h}_{i,j}$$
 
$h$可以表示为
 $$h=\sum _i^m\sum _j^n{h}_{i,j}{\varrho }^i\otimes {\sigma }^j$$
 
$h$由 $m\times n$ 个实数 
    
     
      
       
        {
       
       
        
         h
        
        
         
          i
         
         
          ,
         
         
          j
         
        
       
       
        ,
       
       
        i
       
       
        =
       
       
        1
       
       
        ,
       
       
        ⋯
       &ThinSpace;
       
        ,
       
       
        m
       
       
        ;
       
       
        j
       
       
        =
       
       
        1.
       
       
        ⋯
       
       
        n
       
       
        }
       
      
      
       \{ h_{i,j}, i = 1, \cdots, m; j = 1. \cdots n \}
      
     
    {hi,j​,i=1,⋯,m;j=1.⋯n}确定. ${\varrho }^i\otimes {\sigma }^j,i=1,\cdots ,m;j=1.\cdots n$ 组成线性空间 $V^{\ast }\otimes W^{\ast }$的一组基. 因此，$V^{\ast }\otimes W^{\ast }$是 $m\times n$ 维线性空间.
 
一个接地气的例子
 
张量，张量积，笛卡尔积不仅仅是抽象的数学概念，它们的出现和应用都有具体的物理背景。张量最初见于弹性力学研究中。为了描述弹性体中微元的几何变形和力学状态，出现了应变张量和应力张量等概念。基于这些力学概念以及它们之间的运算规则，进一步抽象出张量等概念。
 
我们在使用数学分析工具研究现实世界时，通常要将现实世界中的物理量和几何量放置在坐标系中。物理量和几何量坐标值的变化反映了它们在现实世界中的运动与演化. 但是坐标系的改变也会产生坐标值的变化。引入张量的目的就是隔离出坐标系引起的变化。张量描述的不仅仅是不同量之间的多重线性关系，它反映的是现实物质世界中物体在不同的度量空间之间变换背后不变的物理意义。 这些概念的应用范围不仅局限于数学, 力学等科学研究领域，在我们的日常生活中，也可以看到它们的身影。为了便于理解，举一个接地气(简单，正确，但不一定精准)的例子。
 
我们以一堆苹果为研究对象。我们一方面可以度量它的质量，例如，1公斤，2市斤等; 另一方面可以度量它的价值，如7元人民币，1美元等. 我们进而考察苹果的价格，就是在质量(1维坐标系)和价值(1维坐标系)组成的2维坐标系统(笛卡尔积：1 + 1 = 2 )中研究苹果的价格( 张量积: 1*1 = 1).
 
例如在甲地某商场里的苹果价格是 7 元(人民币)/公斤. 如果我们将价格中的货币单位改为美元. 假设7元人民币兑换1美元(线性变换), 则苹果价格会变为 1 美元/公斤. 价格坐标系变换引起价格度量值的变化，但它们所代表的物理意义(也就是苹果价格)没有变, 也就是：
 7 元(人民币)/公斤 = 1 (美元)/公斤 ~~~ 7 元(人民币) = 1 (美元) （协变, 线性关系）
 
同理有:
 7 元(人民币)/公斤 = 3.5 元(人民币)/市斤 ~~~ 1 公斤 = 2 市斤 （逆变, 线性关系）
 
两者组合起来，就是所谓的多重线性。
 
如果以苹果的价值为线性空间$V=${1元(人民币)，2元(人民币)，$\cdots$}, 它的基是 1元(人民币)。 如果以苹果的质量为线性空间$W=${1公斤，2公斤，$\cdots$}, 它的基是 1公斤。由于
 $$\frac{1}{1Kg}\cdot 5Kg=\frac{1}{1Kg}(5Kg)=5$$
 $\frac{1}{1Kg}()$ 可以看作是线性空间$W$的对偶空间$W^{\ast }$的基函数。 苹果价格$\in V\otimes W^{\ast }$. 因此价格是一个${}_1^{,1}$型张量，由于质量和价值的维度均为1，则它的基只有$1\ast 1=1$个，即 1元(人民币)/1公斤
 $$苹果价格=\sum _i^1\sum _j^1{h}_{i,j}{\varrho }_i\otimes {\sigma }^j=7(1元(人民币))\otimes \frac{1}{1公斤}=7(1元(人民币))\frac{1}{1公斤}$$
 
 
 
 
参考文献
 
 
 
[1] 候伯元, 候伯宇. 物理学家用微分几何. 科学出版社.
 

张量积 一般指的是Kronecker product a⊗b
 
 
很显然，该运算不遵守交换律。
 
import numpy as np
a = np.eye(3)
b = np.ones((3,2,3))
c = np.kron(a,b)
 
a
 
array([[ 1.,  0.,  0.],
        [ 0.,  1.,  0.],
        [ 0.,  0.,  1.]])
 
b
 
array([[[ 1.,  1.,  1.],
         [ 1.,  1.,  1.]],
 
       [[ 1.,  1.,  1.],
         [ 1.,  1.,  1.]],
 
       [[ 1.,  1.,  1.],
         [ 1.,  1.,  1.]]])
 
c
 
array([[[ 1.,  1.,  1.,  0.,  0.,  0.,  0.,  0.,  0.],
         [ 1.,  1.,  1.,  0.,  0.,  0.,  0.,  0.,  0.],
         [ 0.,  0.,  0.,  1.,  1.,  1.,  0.,  0.,  0.],
         [ 0.,  0.,  0.,  1.,  1.,  1.,  0.,  0.,  0.],
         [ 0.,  0.,  0.,  0.,  0.,  0.,  1.,  1.,  1.],
         [ 0.,  0.,  0.,  0.,  0.,  0.,  1.,  1.,  1.]],
 
       [[ 1.,  1.,  1.,  0.,  0.,  0.,  0.,  0.,  0.],
         [ 1.,  1.,  1.,  0.,  0.,  0.,  0.,  0.,  0.],
         [ 0.,  0.,  0.,  1.,  1.,  1.,  0.,  0.,  0.],
         [ 0.,  0.,  0.,  1.,  1.,  1.,  0.,  0.,  0.],
         [ 0.,  0.,  0.,  0.,  0.,  0.,  1.,  1.,  1.],
         [ 0.,  0.,  0.,  0.,  0.,  0.,  1.,  1.,  1.]],
 
       [[ 1.,  1.,  1.,  0.,  0.,  0.,  0.,  0.,  0.],
         [ 1.,  1.,  1.,  0.,  0.,  0.,  0.,  0.,  0.],
         [ 0.,  0.,  0.,  1.,  1.,  1.,  0.,  0.,  0.],
         [ 0.,  0.,  0.,  1.,  1.,  1.,  0.,  0.,  0.],
         [ 0.,  0.,  0.,  0.,  0.,  0.,  1.,  1.,  1.],
         [ 0.,  0.,  0.,  0.,  0.,  0.,  1.,  1.,  1.]]])
 
 
叉积 cross product，一般是两个向量之间的计算，得到一个垂直这两个向量的向量。向量必须是3维，2维向量则广播成3维（注意这里向量维不是空间维）。如果是矩阵，则是矩阵的行向量或列向量之间的运算。
 
import numpy as np
a = np.array([1,2,0])
b = np.array([1,0,0])
c = np.cross(a,b)
 
 
外积是Kronecker product的一种特殊形式，是两个一维向量之间的运算。
 
 
import numpy as np
a = np.array([1,2,3,4])
b = np.ones([3,1])

c = np.outer(a,b)
d = np.kron(a,b)
 
c
 
array([[ 1.,  1.,  1.],
        [ 2.,  2.,  2.],
        [ 3.,  3.,  3.],
        [ 4.,  4.,  4.]])
 
d
 
array([[ 1.,  2.,  3.,  4.],
        [ 1.,  2.,  3.,  4.],
        [ 1.,  2.,  3.,  4.]])
 
 
如果b改成1×3，那么该例d为1×12：
 
array([[ 1.,  1.,  1.,  2.,  2.,  2.,  3.,  3.,  3.,  4.,  4.,  4.]])
 
内积没什么好说的，大家最熟悉了。
 
最后提一下，python(numpy)的矩阵元素相乘（elementwise）只有numpy.multiply()和*。其他np.dot()，np.matmul()均是矩阵乘。
 
Hadamard product (also known as the Schur product）
 
 
The Hadamard product is also often denoted using the  symbol instead of .