文章目录
向量的内积
性质
柯西不等式
范数
性质
相似度
向量组的线性相关性
向量空间
正交
规范正交基
施密特（Schimidt）正交化
正交矩阵
正交变换

向量的内积

设有n维向量

$x=\begin{bmatrix}
x_1\\ 
x_2\\ 
\vdots\\ 
x_n
\end{bmatrix},y=\begin{bmatrix}
y_1\\ 
y_2\\ 
\vdots\\ 
y_n
\end{bmatrix},$

令 [x, y] = x1y1 + x2y2 + … + xnyn，

[x, y]称为向量x与y的内积（或点积），也可写成<x, y>。
矩阵形式：[x, y] = xTy

性质

[x, y] = [y, x]
[λx, y] = λ[x, y]
[x + y, z] = [x, z] + [y, z]
当 x =  0时(零向量)，[x, x] = 0；当 x ≠ 0 时，[x, x] ＞ 0

柯西不等式

[x, y]2 ⩽ [x, x][y, y]
证明：令z = x - λy,

[z, z] = [x - λy, x - λy] = [x, x - λy] - [λy, x - λy] = [x, x] - λ[x, y] - λ[x, y] + λ2[y, y] = [y, y]λ2 - 2[x, y]λ + [x, x] ≥ 0

可以看成一个关于λ的二次函数，二次函数大等于零，判别式Δ = b2 - 4ac = 4[x, y]2 - 4[y, y][x, x] ⩽ 0，即 [x, y]2 ⩽ [x, x][y, y]

范数

令

$\left \| x \right \|=\sqrt{\left [  x,x\right ]} = \sqrt{x_1^2+x_2^2+...+x_n^2}$

||x|| 称为 n 维向量 x 的长度（或范数，或模）
||x|| = 1 时，称 x 为单位向量

性质

非负性：当 x =  0时，||x|| = 0；当 x ≠ 0 时，||x|| ＞ 0
齐次性：||λx|| = |λ| ||x||
三角不等式：||x+y|| ⩽ ||x|| + ||y||

相似度

二维空间中：<x, y> = ||x|| ||y|| cosθ

θ 为 x 与 y 的夹角
推广到高维：$\cos \theta =\frac{\left [  x,y\right ]}{\left \| x \right \|\left \| y \right \|}$

$0\leqslant \cos ^2 \theta =\frac{\left [  x,y\right ]^2}{\left \| x \right \|^2\left \| y \right \|^2}=\frac{\left [  x,y\right ]^2}{\left [  x,x\right ]\left [  y,y\right ]}\leqslant 1，故-1\leqslant \cos \theta \leqslant 1$

用cosθ来衡量高维空间中两个样本（机器学习中的样本基本都是n维空间中的向量）的相似度的一种度量，不同于欧氏距离（$d=\sqrt{(x_1-y_1)^2+(x_2-y_2)^2+...+(x_n-y_n)^2)}$）。

向量组的线性相关性

给定向量组A：a1，a2，…，am，如果存在不全为0的数k1，k2，…，km，使

$k_1a_1+k_2a_2+...+k_ma_m=0,$

则称向量组A是线性相关的，否则称它线性无关。
线性相关，说明向量组A中至少有一个向量能由其余m-1各向量线性表示。

如设k1≠0，于是$a_1=-\frac {1}{k_1}(k_2a_2+...+k_ma_m)$，即a1能由a2，…，am线性表示。
$矩阵可逆\Leftrightarrow |A| ≠ 0\Leftrightarrow R(A) = n\Leftrightarrow A\overset{r}{\sim}E\Leftrightarrow a_1,a_2,...,a_m线性无关$

向量空间

设V为n维向量的集合，如果V非空，且V对于向量的加法及乘数两种运算封闭，那么就称集合V为向量空间。
封闭是指，若a∈V，b∈V，则a+b∈V；若λ∈$\mathbb{R}$，则λa∈V
n维向量的全体构成的集合$\mathbb{R}^n$叫做n维向量空间。
设V为向量空间，如果r个向量a1，a2，…，ar∈V，且满足：

（1）a1，a2，…，ar线性无关；

（2）V中任一向量都可由a1，a2，…，ar线性表示，

那么向量组a1，a2，…，ar就称为向量空间V的一个基，r称为向量空间V的维数，并称V为r维向量空间。

正交

当[x, y] = 0时，称向量x与y正交。
若x = 0，则x与任何向量都正交
定理：若n维向量a1，a2，…，ar是一组两两正交的非零向量，则a1，a2，…，ar线性无关

证明：$k_1a_1+k_2a_2+...+k_ma_m=0$，两边同时点积a1，得k1 [a1, a1] + k2 × 0 + … + km × 0 = 0，即k1 [a1, a1] = 0，a1是非零向量，故k1 = 0。依此类推。

规范正交基

设n维向量e1，e2，…，er是向量空间V（$V\subset \mathbb{R}^n$）的一个基，如果e1，e2，…，er两两正交，且都是单位向量，则称e1，e2，…，er是V的一个规范正交基。
通常r = n
规范正交基不惟一
若e1，e2，…，er是V的一个规范正交基，那么V中任一向量a应能由e1，e2，…，er线性表示。
系数求法：λn = [a, en]

设a= λ1e1 + λ2e2 + … + λrer，

则[a, e1] = λ1[e1, e1] + λ2[e2, e1] + … + λr[er, e1] = λ1[e1, e1] = λ1，

以此类推。

施密特（Schimidt）正交化

设a1，a2，…，ar是向量空间V的一个基，要求V的一个规范正交基，也就是要找一组两两正交的单位向量e1，e2，…，er，使e1，e2，…，er与a1，a2，…，ar等价。这样一个问题，称为把a1，a2，…，ar这个基规范正交化。
首先正交化：

$b_1=a_1;$

$b_2=a_2-\frac{\left [ b_1,a_2 \right ]}{\left [ b_1,b_1 \right ]}b_1;$

…

$b_r=a_r-\frac{\left [ b_1,a_r \right ]}{\left [ b_1,b_1 \right ]}b_1-\frac{\left [ b_2,a_r \right ]}{\left [ b_2,b_2 \right ]}b_2-\cdots-\frac{\left [ b_{r-1},a_r \right ]}{\left [ b_{r-1},b_{r-1} \right ]}b_{r-1}$
此时b1，b2，…，br两两正交，且b1，b2，…，br与a1，a2，…，ar等价。
然后把它们规范化（单位化）：

$e_1=\frac{1}{\left \| b_1 \right \|}b_1$

$e_2=\frac{1}{\left \| b_2 \right \|}b_2$

…

$e_r=\frac{1}{\left \| b_r \right \|}b_r$
这就是V的一个规范正交基。
上述从线性无关向量组a1，a2，…，ar导出正交向量组b1，b2，…，br的过程称为施密特正交化过程。它不仅满足b1，b2，…，br与a1，a2，…，ar等价，还满足对任何k(1⩽k⩽r)，b1，b2，…，bk与a1，a2，…，ak等价。

正交矩阵

如果n阶矩阵A满足ATA = E（即A-1 = AT），那么称A为正交矩阵。

用A的列向量表示，即

$\begin{bmatrix}
a_1^T\\ 
a_2^T\\ 
\vdots\\ 
a_n^T
\end{bmatrix}\begin{bmatrix}
a_1 & a_2 & \cdots & a_n
\end{bmatrix}=E$

亦即

$a_i^Ta_j=\begin{cases}
1, & \text{当 } i=j \\ 
0, & \text{当 } i\neq j
\end{cases}$

说明A为正交阵的充分必要条件是A的列向量都是单位向量，且两两正交。
因为ATA = E与AAT = E等价，所以上述结论对A的行向量亦成立。
n阶正交阵A的n个列（行）向量构成向量空间$\mathbb{R}^n$的一个规范正交基。
若A为正交阵，则A-1=AT也是正交阵，且|A|=1或-1
若A和B都是正交阵，则AB也是正交阵。

正交变换

若P为正交矩阵，则线性变换y = Px称为正交变换。

$\left \| y \right \|=\sqrt{y^Ty} = \sqrt{x^TP^TPx}=\sqrt{x^Tx}=\left \| x \right \|$

说明正交变换向量长度不变。

0 引文
最近又看到了范数的概念，让我想起了以前看的内积的概念。同时，我也产生了很多的疑问。比如说，为什么要引入范数?范数和内积有什么关系？又为什么要引入内积？
查阅了一些资料后，我发现要了解内积和范数首先要知道线性赋范空间，而要了解线性赋范空间要先了解向量空间和度量空间。因此为了更加好的了解内积和范数，需要的前置知识关系已经很明确。
在本文中，你将能看到
什么是向量空间
什么是度量空间
什么是赋范向量空间、范数表示的意义
什么是内积空间、内积表示的意义
本文不包含的内容
小碎骨
冻青蛙
求爱技巧
1 向量空间
空间=集合+结构，向量空间(vector space 也叫做线性空间 linear space)当然也不例外。向量空间=集合+线性结构。下面给出向量空间定义。
定义
其中集合又分为两个部分，提供向量集合
 和数域 
 。而线性结构也分为两个运算，对于向量的 
 ，和数乘 
 。总结来说对于向量空间V要满足以下性质。
加法： 
u + (v + w) = (u + v) + w
u + v = v + u
There exists an element 0 ∈ V, called the zero vector, such that v + 0 = v for all v ∈ V.
For every v ∈ V, there exists an element −v ∈ V, called the additive inverse of v, such that v + (−v) = 0.
可以发现构成了一个Abel群（封闭，结合律，交换律，单位元，逆元）
乘法： 
a(bv) = (ab)v
1v = v, where 1 denotes the multiplicative identity in F.
a(u + v) = au + av
(a + b)v = av + bv
感觉乘法也满足很多代数系统的性质，如结合律、单位元、分配律。但由于乘法是 
 并不是在同一个集合上的运算，也就不能构成代数系统系统。
常见的向量空间例子
中学时常常接触的向量
矩阵
多项式
总结
值得注意的是向量空间只是定义了加法与数乘。关于如何去比较两个向量的大小，如何去衡量两个向量的距离等相关概念，也就是「度量」是并没有提及的。这就是在中学时经常听说的向量不能比大小。其实是在单纯的向量空间中不能比大小。
2 度量空间
度量空间的引入
已经知道向量空间是无法比较大小的，但事实是在很多情况下，是有比较的需求。那么有什么一种可以让集合间元素比较大的空间呢？这就是度量空间
定义
度量空间（Metric Space），具有距离的集合。而元素间距离函数也称作集合上的度量。
度量空间=集合+拓扑结构（距离函数），下面给出度量空间 
 定义。
对于集合 
 ，度量函数 
 。也就是 
 在 
 中都有唯一的元素与之对应，称作 
 之间的距离，记为 
 ，且距离要满足以下性质：
d(x, y) ≥ 0 (非负性)
d(x, y) = 0 当且仅当 x = y (不可区分者的同一性)
d(x, y) = d(y, x) (对称性)
d(x, z) ≤ d(x, y) + d(y, z) (三角不等式)。
对于性质要求的解释
满足这些条件的就是度量空间的距离，但为什么突兀要求距离非负、要求满足三角不等式？
我的看法就是若不满足非负性或者三角不等式，这样的距离就太过“平凡”，没有什么研究的价值。
比如说，假设距离可以不满足非负性， 
 。
取 
 ,那么对于“性质4”三角不等式
就不一定成立。也就是说 
 可以成立。令 
 可以得到
若 
 ，可以得到 
 ，这十分荒谬。
若不等式同时减去 
 ，可以得到 
 ，违反性质2。
总结
度量空间的要点就是：集合中任意两点有的距离，如我们经常接触的欧几里得空间。但是对于 
 中元素本身的长度却没有要求，也没有要求符合线性结构。
3 赋范向量空间
赋范向量空间的引入
我们经常使用线性空间，但他并不能满足我们的需求，还希望能够比较向量的大小。为了实现这个目的，我们可以“自定义一个空间”让他同时具有向量空间和度量空间的性质，按照编程的话说就是需要实现向量空间和度量空间的接口。而这个“自定义的空间”其实就是赋范线性空间。
定义
赋范向量空间（normed vector space）：向量具有范数的空间，赋范向量空间=向量空间+范数。范数也就可以看作是向量的长度。
设 
 是线性空间，定义范数 
 ，即 
 ，在R中都有唯一的一个元素与之对应，称为向量 
 的
范数，记作 
 ，且满足以下性质：
赋范向量空间中的度量
由于赋范向量空间实现了度量空间的结构，那么在赋范向量空间中定义 
不难验证这个定义是满足度量空间的性质要求。
赋范向量空间的例子
巴拿赫空间（Banach space）：要求完备的赋范向量空间
总结
赋范向量空间，在向量空间的基础上，对于向量的长度、距离进行了定义。而范数就是这个长度
4 内积空间
内积空间的引入
现在我们在赋范向量空间中，已经有了长度、距离的概念。但是对于两个向量方向之间的关系，也就是角度同样需要描述。而内积就能做到对两个向量的角度进行描述。
定义
内积空间（Inner product space）= 线性空间+内积。
设 
 是向量空间，定义内积 
 。即， 
 ，在R中都有唯一的一个元素与之对应，称作 
 和 
 的
内积，记作 
 ，满足以下性质。
 (symmetry)
 (Linearity in the first argument)
内积空间中的范数
内积空间，是在赋范向量空间的基础上附加的内积条件，则可定义范数如下
很容易验证符合范数性质，其中对于范数的三角不等式的证明可以利用 柯西-施瓦兹(Cauchy-Schwarz)不等式。
正交（Orthogonality）
定义两个向量之间角度为：
其中角度的范围是 
 。
我们称 
 中非零向量 
 与 
 是
正交的，当且仅当内积为0。
内积空间的例子
希尔伯特空间（Hilbert space），复数空间、完备、内积空间
总结
内积空间，也就是赋范向量空间+内积，也就是说在内积空间中是一定存在范数、距离这些概念的，而内积的关键是可以对角度进行衡量。
5 关系图

1 ，内积 ： 代数定义 ( 相乘之后加起来 )

定义 ：


总结 ：

1 ，同维度向量

2 ，对应项相乘，将结果加起来
内积的 4 种性质 ： 符合加法规律 ( 交换律，结合律，分配率 )



2 ，范数 ：

几何意义 ：向量在空间中的距离 ( 大小 )
图示 ：



3 ，L1 范数 ： 曼哈顿距离 ( 绝对值求和 )

4 ，L2 范数 ： 欧几里得范数 ( 平方和的开平方 )

5 ，二维向量的夹角 ： 多维可以由此推导出

三角形边长推导 ：已知三边，求底边切分长度( 求 x，y )


推导过程 ：

1 ，x + y = b

2 ，高的平方 = a2 - x2

3 ，高的平方 = b2 - y2

4 ，所以 ： a2-x2 = b2-y2

5 ，1 和 4 两式联立，得到 x，y
二维向量夹角推导 ：



6 ，内积 ： 几何解释 ( 向量夹角 )

意义 ： 向量空间中的角度
向量夹角的余弦 = 内积 / 欧几里得范数


向量的模
向量的大小(或长度）叫做向量的模，记作||。

平面向量=(x,y)，模长是：

空间向量=
 (x,y,z)，模长是：

对于向量属于n维复向量空间=(x1,x2…,xn)，的模为‖‖=sqrt((x,x*))(x与x共轭的内积再开方)

模是绝对值在二维和三维空间的推广，可以认为就是向量的长度。推广到高维空间中称为范数。
模和范数的关系
模是空间几何的概念，范数是线性代数里的概念，范数是大于三维空间的模？？
范数与距离的关系
范数
向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。
向量的范数定义：向量的范数是一个函数||x||,满足非负性||x||
 >= 0，齐次性||cx|| = |c| ||x||
，三角不等式||x+y|| <= ||x|| + ||y||。
常用的向量的范数：
L1范数: 
||x|| 为x向量各个元素绝对值之和。

L2范数: 
||x||为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或者Frobenius范数

Lp范数: 
||x||为x向量各个元素绝对值p次方和的1/p次方

L∞范数: 
||x||为x向量各个元素绝对值最大那个元素的绝对值，如下：

椭球向量范数: ||x||A 
= sqrt[T(x)Ax]， T(x)代表x的转置。定义矩阵C
为M个模式向量的协方差矩阵，
设C’是其逆矩阵，则Mahalanobis距离定义为||x||C’ 
= sqrt[T(x)C’x], 这是一个关于C’的椭球向量范数。
距离
1)、欧式距离（对应L2范数）：最常见的两点之间或多点之间的距离表示法，又称之为欧几里得度量，它定义于欧几里得空间中。n维空间中两个点x1=(x11,x12,…,x1n)与
 x2=(x21,x22,…,x2n)间的欧氏距离：



也可以用表示成向量运算的形式：


2)、曼哈顿距离：曼哈顿距离对应L1-范数，也就是在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。例如在平面上，坐标（x1, y1）的点P1与坐标（x2,
 y2）的点P2的曼哈顿距离为：，要注意的是，曼哈顿距离依赖坐标系统的转度，而非系统在座标轴上的平移或映射
3)、切比雪夫距离，若二个向量或二个点x1和x2，其坐标分别为(x11,
 x12, x13, ... , x1n)和(x21, x22, x23, ..., x2n)，则二者的切比雪夫距离为：d = max(|x1i - x2i|)，i从1到n。对应L∞范数。
4)、闵可夫斯基距离(Minkowski
 Distance)，闵氏距离不是一种距离，而是一组距离的定义。对应Lp范数，p为参数。
闵氏距离的定义：两个n维变量（或者两个n维空间点）x1(x11,x12,…,x1n)与
 x2(x21,x22,…,x2n)间的闵可夫斯基距离定义为：






其中p是一个变参数。


当p=1时，就是曼哈顿距离，


当p=2时，就是欧氏距离，


当p→∞时，就是切比雪夫距离，


根据变参数的不同，闵氏距离可以表示一类的距离。

5)、Mahalanobis距离：也称作马氏距离。在近邻分类法中，常采用欧式距离和马氏距离。