欧式距离（通常是距离的默认选择）：
 
 
（l-p 距离）欧式距离的延申
 
 
当p=2时为欧式距离
 
p =1 时为l-1距离（真正地考虑到每个维度的差距），在机器学习中常用到。
 
 
还有一种距离（无穷距离），仅仅考虑了差距最大的那个维度的差距。
 
 
对于相同的向量，不同的距离度量，算出来的距离值不同。
 
以原点为中心的圆上，l2距离相等。
 
 
 
 
以原点为中心的菱形上，l1距离相等。
 
 
以原点为中心的正方形上，l 无穷距离相等。
 
 
距离函数必需要满足的性质
 
 
 
 
KL 散度，或者相对熵。衡量两个分布之间相似度。它并不满足对称性，也不满足三角不等式，机器学习中常用。
 

在做分类时常常需要估算不同样本之间的相似性(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。
 
采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。
 
 
 
本文的目的就是对常用的相似性度量作一个总结。
 
 
 
本文目录：
 1. 欧氏距离
 2. 曼哈顿距离
 3. 切比雪夫距离
 4. 闵可夫斯基距离
 5. 标准化欧氏距离
 6. 马氏距离
 7. 夹角余弦
 8. 汉明距离
 9. 杰卡德距离 & 杰卡德相似系数
 10. 相关系数 & 相关距离
 11. 信息熵
============================================================
 
1. 欧氏距离(Euclidean Distance)
 
       欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。
 
       两个n维向量a与 b间的欧氏距离：
 
 

 Matlab计算距离主要使用pdist函数。若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。
 
 例子：计算向量(0,0)、(1,0)、(0,2)两两间的欧式距离
 
 X = [0 0 ; 1 0 ; 0 2]
 
 D = pdist(X,'euclidean')
 
 结果：
 
 D = 
 
    1.0000    2.0000    2.2361
 
 
============================================================
 
2. 曼哈顿距离(Manhattan Distance)
 
       从名字就可以猜出这种距离的计算方法了。想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源， 曼哈顿距离也称为城市街区距离(City Block distance)。
 
       两个n维向量a(a1;a2;…;an)与 b(b1;b2;…;bn)间的曼哈顿距离
 
 
 
 

 Matlab计算曼哈顿距离
 
 例子：计算向量(0,0)、(1,0)、(0,2)两两间的曼哈顿距离
 
 X = [0 0 ; 1 0 ; 0 2]
 
 D = pdist(X, 'cityblock')
 
 结果：
 
 D =
 
      1     2     3
 
============================================================
 
3. 切比雪夫距离 ( Chebyshev Distance )
 
       国际象棋玩过么？国王走一步能够移动到相邻的8个方格中的任意一个。那么国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？自己走走试试。你会发现最少步数总是max( | x2-x1 | , | y2-y1 | ) 步 。有一种类似的一种距离度量方法叫切比雪夫距离。
 
       两个n维向量a(a1;a2;…;an)与 b(b1;b2;…;bn)间的曼哈顿距离
 
 

 例子：计算向量(0,0)、(1,0)、(0,2)两两间的切比雪夫距离
 
 X = [0 0 ; 1 0 ; 0 2]
 
 D = pdist(X, 'chebychev')
 
 结果：
 
 D = 
 
     1     2     2 
 
 
 
 
 
============================================================
 
4. 闵可夫斯基距离(Minkowski Distance)
 

 闵氏距离不是一种距离，而是一组距离的定义。
 

 (1) 闵氏距离的定义
 
       两个n维变量a(a1;a2;…;an)与 b(b1;b2;…;bn)间的闵可夫斯基距离定义为：
                                                                                                                                                           
 

 其中p是一个变参数。
 
 当p=1时，就是曼哈顿距离
 
 当p=2时，就是欧氏距离
 
 当p→∞时，就是切比雪夫距离
 
 根据变参数的不同，闵氏距离可以表示一类的距离。
 

 (2)闵氏距离的缺点
 
　　闵氏距离，包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点。
 

  
 
　　举个例子：二维样本(身高,体重)，其中身高范围是150~190，体重范围是50~60，有三个样本：a(180,50)，b(190,50)，c(180,60)。那么a与b之间的闵氏距离（无论是曼哈顿距离、欧氏距离或切比雪夫距离）等于a与c之间的闵氏距离，但是身高的10cm真的等价于体重的10kg么？因此用闵氏距离来衡量这些样本间的相似度很有问题。
 

  
 
       简单说来，闵氏距离的缺点主要有两个：(1)将各个分量的量纲(scale)，也就是“单位”当作相同的看待了。(2)没有考虑各个分量的分布（期望，方差等)可能是不同的。
 

 (3)Matlab计算闵氏距离
 
 例子：计算向量(0,0)、(1,0)、(0,2)两两间的闵氏距离（以变参数为2的欧氏距离为例）
 
 X = [0 0 ; 1 0 ; 0 2]
 
 D = pdist(X,'minkowski',2)
 
 结果：
 
 D = 
 
    1.0000    2.0000    2.2361
 
 
 
 
 
============================================================
 
5. 标准化欧氏距离 (Standardized Euclidean distance )
 

 (1)标准欧氏距离的定义
 
　　标准化欧氏距离是针对简单欧氏距离的缺点而作的一种改进方案。标准欧氏距离的思路：既然数据各维分量的分布不一样，好吧！那我先将各个分量都“标准化”到均值、方差相等吧。均值和方差标准化到多少呢？这里先复习点统计学知识吧，假设样本集X的均值(mean)为m，标准差(standard deviation)为s，那么X的“标准化变量”表示为：
 

  
 
　　而且标准化变量的数学期望为0，方差为1。因此样本集的标准化过程(standardization)用公式描述就是：
 
 
 
 
 
      标准化后的值 =  ( 标准化前的值  － 分量的均值 ) /分量的标准差
 

  
 
　　经过简单的推导就可以得到两个n维向量a(a1,a2,…,an)与 b(b1,b2,…,bn)间的标准化欧氏距离的公式：
 

  
 
　　如果将方差的倒数看成是一个权重，这个公式可以看成是一种加权欧氏距离(Weighted Euclidean distance)。
 
 
 
 
 
 (2)Matlab计算标准化欧氏距离
 
 例子：计算向量(0,0)、(1,0)、(0,2)两两间的标准化欧氏距离 (假设两个分量的标准差分别为0.5和1)
 
 X = [0 0 ; 1 0 ; 0 2]
 
 D = pdist(X, 'seuclidean',[0.5,1])
 
 结果：
 
 D = 
 
    2.0000    2.0000    2.8284
 
 
 
 
 
============================================================
 
6. 马氏距离(Mahalanobis Distance)
 

 (1)马氏距离定义
 
       有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量Xi到u的马氏距离表示为： 
 
 

        而其中向量Xi与Xj之间的马氏距离定义为：
 
 
       若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了：
  
 
 

        也就是欧氏距离了。
 　　 若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。
 

 (2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。
 
 (3) Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离
 
 X = [1 2; 1 3; 2 2; 3 1]
 
 Y = pdist(X,'mahalanobis')
 
 结果：
 
 Y =
 
     2.3452    2.0000    2.3452    1.2247    2.4495    1.2247
 

============================================================
 
7. 夹角余弦(Cosine)
 
       有没有搞错，又不是学几何，怎么扯到夹角余弦了？各位看官稍安勿躁。几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异。
 
 
 
(1)在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式：
 
 
 
 
 
(2) 两个n维样本点a(a1;a2;…;an)与 b(b1;b2;…;bn)的夹角余弦
 
 
 
       夹角余弦取值范围为[-1,1]。夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。
 
       夹角余弦的具体应用可以参阅参考文献[1]。
 

 (3)Matlab计算夹角余弦
 
 例子：计算(1,0)、( 1,1.732)、( -1,0)两两间的夹角余弦
 
 X = [1 0 ; 1 1.732 ; -1 0]
 
 D = 1- pdist(X, 'cosine')  % Matlab中的pdist(X, 'cosine')得到的是1减夹角余弦的值
 
 结果：
 
 D = 
 
    0.5000   -1.0000   -0.5000
 
 
 
 
===================================================
 
8. 汉明距离(Hamming distance)
 

 (1)汉明距离的定义
 
        两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为2。
         应用：信息编码（为了增强容错性，应使得编码间的最小汉明距离尽可能大）。
 

 (2)Matlab计算汉明距离
 
　　  Matlab中2个向量之间的汉明距离的定义为2个向量不同的分量所占的百分比。
         例子：计算向量(0,0)、(1,0)、(0,2)两两间的汉明距离
 

 X = [0 0 ; 1 0 ; 0 2];
 
 D = PDIST(X, 'hamming')
 
 结果：
 
 D = 
 
    0.5000    0.5000    1.0000
 
 
 
 
 
======================================================
 
9. 杰卡德相似系数(Jaccard similarity coefficient)
 

 (1) 杰卡德相似系数
 
        两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)表示。
 
 
　　杰卡德相似系数是衡量两个集合的相似度一种指标。
 

 (2) 杰卡德距离
 
       与杰卡德相似系数相反的概念是杰卡德距离(Jaccard distance)。杰卡德距离可用如下公式表示：
 
 

 　　  杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。
 

 (3) 杰卡德相似系数与杰卡德距离的应用
 
       可将杰卡德相似系数用在衡量样本的相似度上。
 　　 样本A与样本B是两个n维向量，而且所有维度的取值都是0或1。例如：A(0111)和B(1011)。我们将样本看成是一个集合，1表示集合包含该元素，0表示集合不包含该元素。
 

 p ：样本A与B都是1的维度的个数
 
 q ：样本A是1，样本B是0的维度的个数
 
 r ：样本A是0，样本B是1的维度的个数
 
 s ：样本A与B都是0的维度的个数 
 
那么样本A与B的杰卡德相似系数可以表示为：
 
 
这里p+q+r可理解为A与B的并集的元素个数，而p是A与B的交集的元素个数。
 
 
而样本A与B的杰卡德距离表示为：
 
 
 
 
 

 (4)Matlab 计算杰卡德距离
 
 Matlab的pdist函数定义的杰卡德距离跟我这里的定义有一些差别，Matlab中将其定义为不同的维度的个数占“非全零维度”的比例。
 
 例子：计算(1,1,0)、(1,-1,0)、(-1,1,0)两两之间的杰卡德距离
 
 X = [1 1 0; 1 -1 0; -1 1 0]
 
 D = pdist( X , 'jaccard')
 
 结果
 
 D = 
 
0.5000    0.5000    1.0000
 
 
 
 
 
======================================================
 
10. 相关系数 ( Correlation coefficient )与相关距离(Correlation distance)
 
 
 
 
 
(1) 相关系数的定义
 
 
 
 
 
 
 
相关系数是衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]。
 
 
相关系数的绝对值越大，则表明X与Y相关度越高。
 
 
当X与Y线性相关时，相关系数取值为1（正线性相关）或-1（负线性相关）。
 (2)相关距离的定义
 
 
 
 
 
 

 (3)Matlab计算(1, 2 ,3 ,4 )与( 3 ,8 ,7 ,6 )之间的相关系数与相关距离
 
 X = [1 2 3 4 ; 3 8 7 6]
 
 C = corrcoef( X' )   %将返回相关系数矩阵
 
 D = pdist( X , 'correlation')
 
 结果：
 
 C =
 
     1.0000    0.4781
 
     0.4781    1.0000
 
 D =
 
 0.5219 
 
      其中0.4781就是相关系数，0.5219是相关距离。
 
 
======================================================
 
11. 信息熵(Information Entropy)
 
       信息熵并不属于一种相似性度量。那为什么放在这篇文章中啊？这个。。。我也不知道。 (╯▽╰)
 信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。
        计算给定的样本集X的信息熵的公式：
  
 
 

 参数的含义：
 
 C：样本集X的分类数
 
 pi：X中第i类元素出现的概率
 
       信息熵越大表明样本集S分类越分散，信息熵越小则表明样本集X分类越集中。。当S中C个分类出现的概率一样大时（都是1/C），信息熵取最大值log2(C)。当X只有一个分类时，信息熵取最小值0
======================================================
 参考资料： 
 [1]吴军. 数学之美 系列 12 - 余弦定理和新闻的分类.
 http://www.google.com.hk/ggblog/googlechinablog/2006/07/12_4010.html
 [2] Wikipedia. Jaccard index.
 http://en.wikipedia.org/wiki/Jaccard_index
 [3] Wikipedia. Hamming distance
 http://en.wikipedia.org/wiki/Hamming_distance
 [4] 求马氏距离（Mahalanobis distance ）matlab版
 http://junjun0595.blog.163.com/blog/static/969561420100633351210/
 [5] Pearson product-moment correlation coefficient
 
http://en.wikipedia.org/wiki/Pearson_product-moment_correlation_coefficient

 
文章目录
 
13.1 距离度量
13.2 损失函数
  
 

 
13.1 距离度量
 
距离函数种类：欧式距离、曼哈顿距离、明式距离（闵可夫斯基距离）、马氏距离、切比雪夫距离、标准化欧式距离、汉明距离、夹角余弦等
常用距离函数：欧式距离、马氏距离、曼哈顿距离、明式距离
 1.欧式距离
 欧式距离是最容易直观理解的距离度量方法，我们小学，中学，高中所接触的两个空间中的距离一般都是指的是欧式距离。
 
 2.曼哈顿距离(Manhattan Distance)
 两个点在标准坐标系上的绝对轴距总和
 
 3.切比雪夫距离
 各坐标数值差的最大值
 
 4.闵可夫斯基距离
 闵氏距离不是一种距离，而是一组距离的定义，是对多个距离度量公式的概括性的表述。
 
 5.标准化欧氏距离
 定义： 标准化欧氏距离是针对欧氏距离的缺点而作的一种改进。标准欧氏距离的思路：既然数据各维分量的分布不一样，那先将各个分量都**“标准化”**到均值、方差相等。
 
 6.马氏距离
 **概念：**马氏距离是基于样本分布的一种距离。物理意义就是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解。再对所有主成分分解轴做归一化，形成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间。
 
 马氏距离的优点：与量纲无关，排除变量之间的相关性干扰
 7.余弦距离
 
 夹角余弦取值范围为[-1,1]。余弦越大表示两个向量的夹角越小，余弦越小表示两向量的夹角越大。当两个向量的方向重合时余弦取最大值1，当两个向量的方向完全相反余弦取最小值-1。
 8.汉明距离
 定义：两个等长字符串s1与s2的汉明距离为：将其中一个变为另外一个所需要作的最小字符替换次数。
 9.信息熵
 以上的距离度量方法度量的皆为两个样本（向量）之间的距离，而信息熵描述的是整个系统内部样本之间的一个距离，或者称之为系统内样本分布的集中程度（一致程度）、分散程度、混乱程度（不一致程度）。系统内样本分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。
 
 
13.2 损失函数
 
log对数 损失函数（逻辑回归）
平方损失函数（最小二乘法）
指数损失函数（AdaBoost）
Hinge损失函数（SVM）
0-1损失函数
绝对值损失函数
 损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。
 损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项
 1.log对数 损失函数
 在逻辑回归的推导中，它假设样本服从伯努利分布（0-1分布），然后求得满足该分布的似然函数。
 log函数是单调递增的，（凸函数避免局部最优）
 在使用梯度下降来求最优解的时候，它的迭代式子与平方损失求导后的式子非常相似
 2.平方损失函数（最小二乘法, Ordinary Least Squares）
 最小二乘法是线性回归的一种，OLS将问题转化成了一个凸优化问题。
 在线性回归中，它假设样本和噪声都服从高斯分布（为什么假设成高斯分布呢？其实这里隐藏了一个小知识点，就是中心极限定理），最后通过极大似然估计（MLE）可以推导出最小二乘式子。
 为什么它会选择使用欧式距离作为误差度量呢（即Mean squared error， MSE），主要有以下几个原因：
简单，计算方便；
欧氏距离是一种很好的相似性度量标准；
在不同的表示域变换后特征性质不变
 3.指数损失函数（AdaBoost）
 
 4.hinge损失
 在机器学习算法中，hinge损失函数和SVM是息息相关的。在线性支持向量机中，最优化问题可以等价于下列式子：
 
 损失函数总结
 
 

 以下是几种常用的核函数表示：
 
 线性核（Linear Kernel）
 
 
 
 
 多项式核（Polynomial Kernel）
 
 
 
 
 
 径向基核函数（Radial Basis Function）
 
 
 
 也叫高斯核（Gaussian Kernel），因为可以看成如下核函数的领一个种形式：
 
 
 
 
 
 
径向基函数是指取值仅仅依赖于特定点距离的实值函数，也就是

。任意一个满足

特性的函数 Φ都叫做径向量函数，标准的一般使用欧氏距离，尽管其他距离函数也是可以的。所以另外两个比较常用的核函数，幂指数核，拉普拉斯核也属于径向基核函数。此外不太常用的径向基核还有ANOVA核，二次有理核，多元二次核，逆多元二次核。

 
幂指数核（Exponential Kernel）

 

   
 
 
拉普拉斯核（Laplacian Kernel）

 

   
 
 
ANOVA核（ANOVA Kernel）

 

   
 
 
二次有理核（Rational Quadratic Kernel）

 

   
 
 
多元二次核（Multiquadric Kernel）

 

   
 
 
逆多元二次核（Inverse Multiquadric Kernel）

 

   
 
 
另外一个简单实用的是
Sigmoid核（Sigmoid Kernel）

 

   
 
 
以上几种是比较常用的，大部分在SVM，SVM-light以及RankSVM中可用参数直接设置。还有其他一些不常用的，如小波核，贝叶斯核，可以需要通过代码自己指定。

 

 

 

 
 （转载请注明作者和出处：http://blog.csdn.net/xiaowei_cqu 未经允许请勿用于商业用途）