两点
之间的明氏距离公式为：
p取1或2时的明氏距离是最为常用的，p=2即为欧氏距离，而p=1时则为曼哈顿距离。当p取无穷时的极限情况下，可以得到切比雪夫距离：

       在机器学习中，距离是一个非常形象并且常用的概念。在分类和聚类问题中，距离的作用尤为明显。除此之外，在回归问题，甚至自然语言处理问题上，距离也有其相应的应用。
       除了距离之外，相似系数也是解决这一问题的方法之一，显而易见，距离和相似系数应该呈反比，距离越小越相似；距离越大越不同。距离主要是对不同的观测进行度量，相似系数主要是对不同的变量进行度量。但是，距离也可以衡量不同的变量，同理，相似系数也可以衡量不同的观测。
       本文将介绍距离的定义，并详细介绍两种非常常用的距离：明可夫斯基距离和马氏距离。在后文中，我们将介绍相似系数。
距离定义
       设两个n维向量$\vec{x} = (x_1,x_2,\cdots,x_n)^T$和$\vec{y} = (y_1,y_2,\cdots,y_n)^T$为两个观测，其所定义的距离一般需要满足三个条件：

非负性：$d(\vec{x},\vec{y}) ≥ 0$，$d(\vec{x},\vec{y}) = 0$当且仅当$\vec{x} = \vec{y}$
对称性：$d(\vec{x},\vec{y}) = d(\vec{y},\vec{x})$
三角不等式：假设存在另一个n维向量$\vec{z}$，$d(\vec{x},\vec{y}) ≤ d(\vec{x},\vec{z}) + d(\vec{z},\vec{y})$

明可夫斯基距离
       明可夫斯基距离是一类距离的总称。向量$\vec{x}$和$\vec{y}$之间的明可夫斯基距离定义为：

$d(\vec{x},\vec{y}) = [\sum_{i=1}^{n}|x_i-y_i|^q]^{\frac{1}{q} }$其中$q>0$。
       明可夫斯基距离有三种特殊且常见的形式：

当$q=1$时，$d(\vec{x},\vec{y}) = \sum_{i=1}^{n}|x_i-y_i|$，称为绝对值距离，也被称为曼哈顿距离。
当$q=2$时，$d(\vec{x},\vec{y}) = [\sum_{i=1}^{n}|x_i-y_i|]^\frac{1}{2} = \sqrt{(\vec{x}-\vec{y})^T(\vec{x}-\vec{y})}$，称为欧式距离，也是最常用的一种距离。
当$q = \infty$，$d(\vec{x},\vec{y}) = max_{1<i<n}|x_i - y_i|$，称为切比雪夫距离。

       在明考夫斯基距离中，$q$值越大，其受（较大的）异常值影响就越厉害。可以发现当$q = \infty$时，切比雪夫距离将完全由最大的异常值决定。同理，欧式距离比绝对值距离受异常值的影响程度更高。
       明考夫斯基距离可以说是生活中最最常见的一种距离，到那时它有一个非常大的缺点，那就是它会受到单位和数据变异程度的不同的影响。
       举一个简单的例子，如果我们要统计一个单位所有人身高、体重和年龄，那么在统计身高的时候，使用“m”做单位，那么大家身高的变化应该集中在1.55-1.85之间；但是如果使用“cm”做单位，那么身高的变化就应该集中在155-185之间。这两个单位造成的数据变异程度（方差）不同，从而使得身高这个变量在后期计算距离的时候重要程度不同。显然，变异性更大的变量应该占据更加重要的地位，在本例中，选择以“cm”做单位会使得身高变量的重要性提高。
       为了解决这个问题，我们引入马氏距离。
马氏距离
向量$\vec{x}$和$\vec{y}$之间的马氏距离定义为：

$d(\vec{x},\vec{y}) = \sqrt{(\vec{x}-\vec{y})^TS^{-1}(\vec{x}-\vec{y})}$其中，$S$代表$\vec{x}$、$\vec{y}$的协方差矩阵。
使用马氏距离最大的好处在于避免了单位不同以及数据变异程度的不同对计算造成的影响。
但是，马氏距离也有自己的缺点，协方差矩阵的计算在大规模数据中是困难的。尤其在聚类问题中，每一个类别中的观测都在不停变化导致协方差矩阵也在变化。

曼哈顿、欧拉、明可夫斯基 距离
参考视频


当p=1，是曼哈顿距离，

当p=2，是欧拉距离，

当p=其他，对应的是其他距离，

截止目前对于KNN算法中除了k, method,又出现一个p的超参数。

1.欧几里德距离（又称欧式距离）（Euclidean Distance）

 欧式距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。

 公式如下：



2.明可夫斯基距离（Minkowski Distance）

明氏距离是欧式距离的推广，是对多个距离度量公式的概括性的表述。

公式如下：



这里的p值是一个变量，当p=2的时候就得到了上面的欧式距离，当p为时为曼哈顿距离，当p→∞时为切比雪夫距离。

3.曼哈顿距离（Manhattan Distance）

曼哈顿距离来源于城市区块距离，是将多个维度上的距离进行求和后的结果，即当上面的明氏距离中p=1时得到的距离度量公式

 公式如下：



4.切比雪夫距离（Chebyshev Distance）

两个点之间其各座标数值差绝对值的最大值。

在二维平面中，d=max(|x2-x1|,|y2-y1|).

切比雪夫距离就是当p趋向于无穷大时的明氏距离。

参考：

csdn：https://blog.csdn.net/jkhere/article/details/17225449