精华内容
下载资源
问答
  • 在做分类时常常需要估算不同样本之间的相似性度量...采用什么样的方法计算距离很讲究,甚至关系到分类的正确与否。 本文目录: 1.欧氏距离 2.曼哈顿距离 3. 切比雪夫距离 4. 闵可夫斯基距离

           在机器学习和数据挖掘中,我们经常需要知道个体间差异的大小,进而评价个体的相似性和类别。最常见的是数据分析中的相关分析,数据挖掘中的分类和聚类算法,如 K 最近邻(KNN)和 K 均值(K-Means)等等。根据数据特性的不同,可以采用不同的度量方法。一般而言,定义一个距离函数 d(x,y), 需要满足下面几个准则:
    1) d(x,x) = 0                          // 到自己的距离为0
    2) d(x,y) >= 0                        // 距离非负
    3) d(x,y) = d(y,x)                   // 对称性: 如果 A 到 B 距离是 a,那么 B 到 A 的距离也应该是 a
    4) d(x,k)+ d(k,y) >= d(x,y)     // 三角形法则: (两边之和大于第三边)

    在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement),这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。

    本文目录:

    1.欧氏距离

    2.曼哈顿距离

    3.切比雪夫距离

    4.闵可夫斯基距离

    5.标准化欧氏距离

    6.马氏距离

    7.夹角余弦

    8.汉明距离

    9.杰卡德距离& 杰卡德相似系数

    10.相关系数& 相关距离

    11.信息熵


    1. 欧氏距离(EuclideanDistance)

           欧氏距离是最易于理解的一种距离计算方法,源自欧氏空间中两点间的距离公式。

    (1) 二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离:

     

    (2) 三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离:

     

    (3) 两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离:

     

      也可以用表示成向量运算的形式:

     

    (4) Matlab计算欧氏距离

    Matlab计算距离主要使用pdist函数。若X是一个M×N的矩阵,则pdist(X)将X矩阵M行的每一行作为一个N维向量,然后计算这M个向量两两间的距离。

    例子:计算向量(0,0)、(1,0)、(0,2)两两间的欧式距离

    X= [0 0 ; 1 0 ; 0 2]

    D= pdist(X,'euclidean')

    结果:

    D=

        1.0000   2.0000    2.2361

     


    2. 曼哈顿距离(ManhattanDistance)

           从名字就可以猜出这种距离的计算方法了。想象你在曼哈顿要从一个十字路口开车到另外一个十字路口,驾驶距离是两点间的直线距离吗?显然不是,除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源, 曼哈顿距离也称为城市街区距离(CityBlock distance)

    (1) 二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离

     

    (2) 两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离

     

    (3) Matlab计算曼哈顿距离

    例子:计算向量(0,0)、(1,0)、(0,2)两两间的曼哈顿距离

    X= [0 0 ; 1 0 ; 0 2]

    D= pdist(X, 'cityblock')

    结果:

    D=

         1    2     3


    3. 切比雪夫距离 ( Chebyshev Distance )

           国际象棋玩过么?国王走一步能够移动到相邻的8个方格中的任意一个。那么国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步?自己走走试试。你会发现最少步数总是max(| x2-x1 | , | y2-y1 | ) 步。有一种类似的一种距离度量方法叫切比雪夫距离。

    (1) 二维平面两点a(x1,y1)与b(x2,y2)间的切比雪夫距离

     

    (2) 两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的切比雪夫距离

     

      这个公式的另一种等价形式是

     

           看不出两个公式是等价的?提示一下:试试用放缩法和夹逼法则来证明。

    (3) Matlab计算切比雪夫距离

    例子:计算向量(0,0)、(1,0)、(0,2)两两间的切比雪夫距离

    X= [0 0 ; 1 0 ; 0 2]

    D= pdist(X, 'chebychev')

    结果:

    D=

         1    2     2

     


    4. 闵可夫斯基距离(MinkowskiDistance)

    闵氏距离不是一种距离,而是一组距离的定义。

    (1) 闵氏距离的定义

           两个n维变量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的闵可夫斯基距离定义为:

     

    其中p是一个变参数。

    当p=1时,就是曼哈顿距离

    当p=2时,就是欧氏距离

    当p→∞时,就是切比雪夫距离

           根据变参数的不同,闵氏距离可以表示一类的距离。

    (2) 闵氏距离的缺点

      闵氏距离,包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点。

      举个例子:二维样本(身高,体重),其中身高范围是150~190,体重范围是50~60,有三个样本:a(180,50),b(190,50),c(180,60)。那么a与b之间的闵氏距离(无论是曼哈顿距离、欧氏距离或切比雪夫距离)等于a与c之间的闵氏距离,但是身高的10cm真的等价于体重的10kg么?因此用闵氏距离来衡量这些样本间的相似度很有问题。

           简单说来,闵氏距离的缺点主要有两个:(1)将各个分量的量纲(scale),也就是“单位”当作相同的看待了。(2)没有考虑各个分量的分布(期望,方差等)可能是不同的。

    (3) Matlab计算闵氏距离

    例子:计算向量(0,0)、(1,0)、(0,2)两两间的闵氏距离(以变参数为2的欧氏距离为例)

    X= [0 0 ; 1 0 ; 0 2]

    D= pdist(X,'minkowski',2)

    结果:

    D=

        1.0000   2.0000    2.2361



    5. 标准化欧氏距离(Standardized Euclidean distance )

    (1) 标准欧氏距离的定义

      标准化欧氏距离是针对简单欧氏距离的缺点而作的一种改进方案。标准欧氏距离的思路:既然数据各维分量的分布不一样,好吧!那我先将各个分量都“标准化”到均值、方差相等吧。均值和方差标准化到多少呢?这里先复习点统计学知识吧,假设样本集X的均值(mean)为m,标准差(standarddeviation)为s,那么X的“标准化变量”表示为:

      而且标准化变量的数学期望为0,方差为1。因此样本集的标准化过程(standardization)用公式描述就是:

      标准化后的值 =  ( 标准化前的值  - 分量的均值 ) /分量的标准差

      经过简单的推导就可以得到两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的标准化欧氏距离的公式:

      如果将方差的倒数看成是一个权重,这个公式可以看成是一种加权欧氏距离(WeightedEuclidean distance)

    (2) Matlab计算标准化欧氏距离

    例子:计算向量(0,0)、(1,0)、(0,2)两两间的标准化欧氏距离 (假设两个分量的标准差分别为0.5和1)

    X= [0 0 ; 1 0 ; 0 2]

    D= pdist(X, 'seuclidean',[0.5,1])

    结果:

    D=

        2.0000   2.0000    2.8284

    6. 马氏距离(MahalanobisDistance)

    (1) 马氏距离定义

           有M个样本向量X1~Xm,协方差矩阵记为S,均值记为向量μ,则其中样本向量X到u的马氏距离表示为:

     

           而其中向量Xi与Xj之间的马氏距离定义为:

           若协方差矩阵是单位矩阵(各个样本向量之间独立同分布),则公式就成了:

           也就是欧氏距离了。

      若协方差矩阵是对角矩阵,公式变成了标准化欧氏距离。

    (2) 马氏距离的优缺点:量纲无关,排除变量之间的相关性的干扰。

    (3) Matlab计算(1 2),( 1 3),( 2 2),( 3 1)两两之间的马氏距离

    X = [1 2; 1 3; 2 2; 3 1]

    Y = pdist(X,'mahalanobis')

     

    结果:

    Y=

        2.3452   2.0000    2.3452    1.2247   2.4495    1.2247

     


    7. 夹角余弦(Cosine)

           有没有搞错,又不是学几何,怎么扯到夹角余弦了?各位看官稍安勿躁。几何中夹角余弦可用来衡量两个向量方向的差异,机器学习中借用这一概念来衡量样本向量之间的差异。

    (1) 在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式:

    (2) 两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夹角余弦

           类似的,对于两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n),可以使用类似于夹角余弦的概念来衡量它们间的相似程度。

      即:

           夹角余弦取值范围为[-1,1]。夹角余弦越大表示两个向量的夹角越小,夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1,当两个向量的方向完全相反夹角余弦取最小值-1。

           夹角余弦的具体应用可以参阅参考文献[1]。

    (3) Matlab计算夹角余弦

    例子:计算(1,0)、( 1,1.732)、(-1,0)两两间的夹角余弦

    X= [1 0 ; 1 1.732 ; -1 0]

    D= 1- pdist(X, 'cosine')  % Matlab中的pdist(X,'cosine')得到的是1减夹角余弦的值

    结果:

    D=

        0.5000  -1.0000   -0.5000

     


    8. 汉明距离(Hammingdistance)

    (1) 汉明距离的定义

           两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为2。

           应用:信息编码(为了增强容错性,应使得编码间的最小汉明距离尽可能大)。

    (2) Matlab计算汉明距离

      Matlab中2个向量之间的汉明距离的定义为2个向量不同的分量所占的百分比。

           例子:计算向量(0,0)、(1,0)、(0,2)两两间的汉明距离

    X = [0 0 ; 1 0 ; 0 2];

    D = PDIST(X, 'hamming')

    结果:

    D=

        0.5000   0.5000    1.0000

     


    9. 杰卡德相似系数(Jaccardsimilarity coefficient)

    (1) 杰卡德相似系数

           两个集合A和B的交集元素在A,B的并集中所占的比例,称为两个集合的杰卡德相似系数,用符号J(A,B)表示。

      杰卡德相似系数是衡量两个集合的相似度一种指标。

    (2) 杰卡德距离

           与杰卡德相似系数相反的概念是杰卡德距离(Jaccarddistance)。杰卡德距离可用如下公式表示:

      杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。

    (3) 杰卡德相似系数与杰卡德距离的应用

           可将杰卡德相似系数用在衡量样本的相似度上。

      样本A与样本B是两个n维向量,而且所有维度的取值都是0或1。例如:A(0111)和B(1011)。我们将样本看成是一个集合,1表示集合包含该元素,0表示集合不包含该元素。

    p:样本A与B都是1的维度的个数

    q:样本A是1,样本B是0的维度的个数

    r:样本A是0,样本B是1的维度的个数

    s:样本A与B都是0的维度的个数


    那么样本A与B的杰卡德相似系数可以表示为:

    这里p+q+r可理解为A与B的并集的元素个数,而p是A与B的交集的元素个数。

    而样本A与B的杰卡德距离表示为:

    (4) Matlab计算杰卡德距离

    Matlab的pdist函数定义的杰卡德距离跟我这里的定义有一些差别,Matlab中将其定义为不同的维度的个数占“非全零维度”的比例。

    例子:计算(1,1,0)、(1,-1,0)、(-1,1,0)两两之间的杰卡德距离

    X= [1 1 0; 1 -1 0; -1 1 0]

    D= pdist( X , 'jaccard')

    结果

    D=

    0.5000    0.5000   1.0000

     


    10. 相关系数( Correlation coefficient )与相关距离(Correlation distance)

    (1) 相关系数的定义

    相关系数是衡量随机变量X与Y相关程度的一种方法,相关系数的取值范围是[-1,1]。相关系数的绝对值越大,则表明X与Y相关度越高。当X与Y线性相关时,相关系数取值为1(正线性相关)或-1(负线性相关)。

    (2) 相关距离的定义

     

    (3) Matlab计算(1, 2 ,3 ,4 )与( 3 ,8 ,7 ,6 )之间的相关系数与相关距离

    X = [1 2 3 4 ; 3 8 7 6]

    C = corrcoef( X' )   %将返回相关系数矩阵

    D = pdist( X , 'correlation')

    结果:

    C=

        1.0000   0.4781

        0.4781   1.0000

    D=

    0.5219

          其中0.4781就是相关系数,0.5219是相关距离。


    11. 信息熵(Information Entropy)

           信息熵并不属于一种相似性度量。那为什么放在这篇文章中啊?这个。。。我也不知道。 (╯▽╰)

    信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均),信息熵就越大。分布越有序(或者说分布越集中),信息熵就越小。

           计算给定的样本集X的信息熵的公式:

    参数的含义:

    n:样本集X的分类数

    pi:X中第i类元素出现的概率

           信息熵越大表明样本集S分类越分散,信息熵越小则表明样本集X分类越集中。。当S中n个分类出现的概率一样大时(都是1/n),信息熵取最大值log2(n)。当X只有一个分类时,信息熵取最小值0


    参考资料: 

    [1]吴军. 数学之美 系列 12 -余弦定理和新闻的分类.

    http://www.google.com.hk/ggblog/googlechinablog/2006/07/12_4010.html

    [2]Wikipedia. Jaccard index.

    http://en.wikipedia.org/wiki/Jaccard_index

    [3]Wikipedia. Hamming distance

    http://en.wikipedia.org/wiki/Hamming_distance

    [4] 求马氏距离(Mahalanobisdistance )matlab版

    http://junjun0595.blog.163.com/blog/static/969561420100633351210/

    [5] Pearson product-momentcorrelation coefficient

    http://en.wikipedia.org/wiki/Pearson_product-moment_correlation_coefficient


    另一篇极好的总结博文:

    http://www.cnblogs.com/daniel-D/p/3244718.html


    展开全文
  • 样本分部不均衡的数据集也很常见的:比如恶意刷单、黄牛订单、信用卡欺诈、电力窃电、设备故障、大企业客户流失等。 样本不均衡将导致样本量少的分类所包含的特征过少,很难从中提取规律,即使得到分类模型,也...

    何为样本不均衡:
    样本分布不均衡就是指样本差异非常大,例如共1000条数据样本的数据集中,其中占有10条样本分类,其特征无论如何你和也无法实现完整特征值的覆盖,此时属于严重的样本分布不均衡。

    为何要解决样本不均衡:
    样本分部不均衡的数据集也是很常见的:比如恶意刷单、黄牛订单、信用卡欺诈、电力窃电、设备故障、大企业客户流失等。
    样本不均衡将导致样本量少的分类所包含的特征过少,很难从中提取规律,即使得到分类模型,也容易产生过度依赖于有限的数量样本而导致过拟合问题,当模型应用到新的数据上时,模型的准确性和健壮性将会很差。

    样本不均衡的解决方法:
    过采样 通过增加分类中样本较少的类别的采样数量来实现平衡,最直接的方法是简单复制小样本数据,缺点是如果特征少,会导致过拟合的问题。经过改进的过抽样方法通过在少数类中加入随机噪声、干扰数据或通过一定规则产生新的合成样本。
    欠采样 通过减少分类中多数类样本的数量来实现样本均衡,最直接的方法是随机去掉一些多数类样本来减小多数类的规模,缺点是会丢失多数类中的一些重要信息。
    设置权重 对不同样本数量的类别赋予不同的权重(通常会设置为与样本量成反比)
    集成方法 每次生成训练集时使用所有分类中的小样本量,同时从分类中的大样本量中随机抽取数据来与小样本量合并构成训练集,这样反复多次会得到很多训练集和训练模型。最后在应用时,使用组合方法(例如投票、加权投票等)产生分类预测结果。这种方法类似于随机森林。缺点是,比较吃计算资源,费时。

    类别不平衡问题

       类别不平衡问题,顾名思义,即数据集中存在某一类样本,其数量远多于或远少于其他类样本,从而导致一些机器学习模型失效的问题。例如逻辑回归即不适合处理类别不平衡问题,例如逻辑回归在欺诈检测问题中,因为绝大多数样本都为正常样本,欺诈样本很少,逻辑回归算法会倾向于把大多数样本判定为正常样本,这样能达到很高的准确率,但是达不到很高的召回率。
    
       类别不平衡问题在很多场景中存在,例如欺诈检测,风控识别,在这些样本中,黑样本(一般为存在问题的样本)的数量一般远少于白样本(正常样本)。
    
       上采样(过采样)和下采样(负采样)策略是解决类别不平衡问题的基本方法之一。上采样即增加少数类样本的数量,下采样即减少多数类样本以获取相对平衡的数据集。
    
       最简单的上采样方法可以直接将少数类样本复制几份后添加到样本集中,最简单的下采样则可以直接只取一定百分比的多数类样本作为训练集。
    
    展开全文
  • 【求助】请教:基于特征脸的人脸识别的分类特征是什么?刚做人脸识别,知之甚少,望各位大虾不吝赐教!现在已经从训练样本中提取出特征脸Fi。但是如何判别测试样本Tj属于哪个类别呢?判别依据是什么?我看到两种说法...

     

    【求助】请教:基于特征脸的人脸识别的分类特征是什么?

    刚做人脸识别,知之甚少,望各位大虾不吝赐教!

    现在已经从训练样本中提取出特征脸Fi。但是如何判别测试样本Tj属于哪个类别呢?判别依据是什么?我看到两种说法:

    1.比如pca+lda的方法,它使用训练样本的最佳投影阵将测试样本也投影成一幅幅像Pj。然后计算Pj和各类Fi之间的距离,哪个小属于哪类。

    2.得到特征脸后,将每幅测试样本图像 表示成特征脸的加权和。然后使用加权向量作为分类特征进行分类,计算测试样本的加权向量和训练样本的加权向量之间的距离。其中训练样本的加权向量应该就是(0 0 ……1 0 0),我这样猜想。

    不知道哪种方法是正确的。或者这两种方法都不正确,有哪位大虾能指条路吗?
    感激不尽!

    新手上路

    Re:【求助】请教:基于特征脸的人脸识别的分类特征是什么?

    特征脸方法的实质是利用训练人脸图像样本集,找到一组标准正交基,将人脸图象线性投影至由该组基张成的度量空间中,从而每一幅人脸图像都可以由这组标准正交基线性表示(即上面说的可以表示成该组基的加权和),表示系数就是人脸图像的投影值。要寻找的这组标准正交基需满足条件:由基向量和系数向量重建得到的人脸图像与原人脸图像在均方误差意义下最接近。
    特征脸方法因为所找到的标准正交基转变成图像表示出来,视觉上呈现扭曲变形的人脸,故而得名。这实际上是道出了投影轴的性质。
    识别阶段,特征脸方法使用人脸在线性子空间中的投影向量作为特征进行识别,其实这个投影向量就是上面2中讲到的加权向量。

    新手上路

    Re:【求助】请教:基于特征脸的人脸识别的分类特征是什么?

    omegalsw所说的是PCA的方法,能否详细介绍一下基于LBP的人脸识别算法吗?

    手上路

    Re:【求助】请教:基于特征脸的人脸识别的分类特征是什么?

    我想问问 特征脸和平均脸有什么区别,我在一些论文上看到关于平均脸的问题,我想问问平均脸是不是把每个同样大小的图像相加求平均呢,如果不是平均脸是怎么定义的?谢谢!

    新手上路

    Re:【求助】请教:基于特征脸的人脸识别的分类特征是什么?

    en ,有很多的论文都可以去查

    新手上路

    Re:【求助】请教:基于特征脸的人脸识别的分类特征是什么?

    1楼的两种说法,我感觉是一样的。
    如2楼所说,特征脸(姑且认为是PCA)实际上是投影到PCA空间的基,比如原样本图像100*100,PCA滤波后为40维,那么就得到了40张特征脸,也就是PCA空间的40维的基,那这样,将样本投影到PCA空间和把样本表示为特征脸来的加权和实际上是一个问题,两种表达而已。
    特征脸如上所说,forester所问的平均脸,我的理解和你是一样的,是所有样本图像的平均,之所以把平均脸和特征脸放在一起,可以看一下平均脸投影到PCA空间用特征脸表示的效果。
    展开全文
  • 对协方差矩阵的特征向量最...这些数据样本的协方差矩阵的特征向量u和v。较长的u第一特征向量,较短的v第二特征向量。特征值的大小用箭头的长度表示。 我们可以看到,第一个特征向量(从数据的平均值)指向欧几里

    本文转载自:http://www.360doc.com/content/17/0810/21/37752273_678258912.shtml

    对协方差矩阵的特征向量最直观的解释之一是:它总是指向数据方差最大的方向。

    更准确地说,第一特征向量是数据方差最大的方向,第二特征向量是与第一特征向量垂直方向上数据方差最大的方向,第三特征向量是与第一和第二特征向量垂直的方向上数据方差最大的方向,以此类推。

    下图是二维空间的一个例子:
    在这里插入图片描述
    每个数据样本都是可以用坐标x、y表示的二维点。这些数据样本的协方差矩阵的特征向量是u和v。较长的u是第一特征向量,较短的v是第二特征向量。特征值的大小用箭头的长度表示。

    我们可以看到,第一个特征向量(从数据的平均值)指向欧几里德空间中数据方差最大的方向,第二个特征向量跟第一特征向量是垂直的。

    三维空间中的特征向量就比较复杂,如图所示:
    在这里插入图片描述
    我们假设所有的数据点都在椭圆体内。v1是第一特征向量,λ1是其相应的特征值,指向数据方差最大的方向。v2与v1垂直,是这个方向上数据方差最大的特征向量。v3与v1和v2都垂直,是这个方向上数据方差最大的特征向量,虽然只有这一个方向。

    展开全文
  • 回忆一下,8-1中给出的实例,当时用了3个...包括我们有很多的特征,依据什么规则来判断是否对最终的结果有效都下面要介绍的内容。 下面首先看一下样本方面的知识。 在点击率预估过程中,需要的样本是带有labe...
  • LR使用gbdt的衍生特征效果如何?...2、但是当样本量较小,尤其是特征的维度大于样本时,LR算法会受到无关特征的干扰,使得模型过拟合。因此,当样本量较少时,需要进行特征选择 因此,是否要进行特...
  • 这两天正好看过一篇相关的paper,“EXPLAINING AND HARNESSING ADVERSARIAL ...之前很多人认为由于模型非线性的特征导致了对抗样本的产生,而Goodfellow他们却提出恰恰模型本身的线性(或者说通过点乘得到
  • 通常来说,将数据想象成表格很有用的。你想要处理的每一个数据点(每 一封电子邮件、每一名客户、每一次交易)对应表格中的一行,描述该数据点的每一项属 ...(用来描述这些实体的属性)则被称为特征(featu
  • 什么是(监督式)机器学习?简单来说,它的定义如下: 机器学习系统通过学习如何组合输入信息来对从未见过的数据做出有用的...特征是输入变量,即简单线性回归中的x变量。简单的机器学习项目可能会使用单个特征,...
  • 一、统计学的基本概念 统计学里最基本的概念就是...均值描述的是样本集合的中间点,它告诉我们的信息有限的,而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。 以这两个集合为例,[0, 8, 12, 20]和
  • 均值描述的是样本集合的中间点,它告诉我们的信息有限的, 2. 标准差: 标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。 以这两个集合为例,[0, 8, 12, 20]和[8, 9, 11, 12],两个集合的均值都...
  • 方差分析(ANOVA)是什么?怎么就可以用来做特征筛选?方差分析(ANOVA)的本质是什么? 方差分析用于检验多个样本的均值是否有显著差异,所以其用于分析多于两个分类的分类变量与连续变量的关系。例如,想要知道...
  • k阶原点距和k阶中心距各说明什么数字特征 二阶中心距,也叫作方差,它告诉我们一个随机变量在它均值附近波动的大小,方差越大,波动性越大。方差也相当于机械运动中以重心为转轴的转动惯量。(The moment...
  • 1.为什么需要特征选择?特征选择有哪些? 第一个问题:①在现实任务中经常会遇到维数灾难问题,属性过多造成的。 ②可以降低学习任务的难度。不相关的特征就是噪声。 第二个问题:过滤式,包裹式,嵌入式 特征选择...
  • 什么倾向特征选项较多的特征? 一.ID3基本概念 ID3算法核心根据“最大信息增益”原则选择划分当前数据集的最好特征。 1.信息熵 当前样本集D中第 i 类样本所占的比例 pi ,则D的信息熵为 信息熵越小,代表事件越...
  • 主成分分析法(PCA) PCA一个将数据变换到一个新的坐标系统中的线性变换,使得任何数据的投影的第一大方差在第一个坐标(第一主成分)上,第二大方差在...LDA一种有监督的降维方法,主要将高维的模式样本投影到最...
  • 什么要做特征共线性分析

    千次阅读 2019-07-20 14:09:58
    面试经常会被问到为什么要做特征共线性分析,这里做一个全面的解释。 多重共线性指自变量之间存在一定程度的线性相关,会给变量对模型的贡献性带来影响。即若有两个变量存在共线性,在相互作用计算后,其一的变量...
  • 第一个问题很好理解,假设我们用KNN训练一些样本数据,相比于有1W个特征样本,肯定训练有1K个特征样本速度更快,因为计算量更小嘛. 第二个问题,为什么可以降维.一个样本原先有1W个特征,现在减少到1...
  • 分母为什么是n-1而不是n呢? 这个问题需要我们从统计学的知识开始说起来,统计学就是通过对一部分数据(样本)的观察分析,来获取整体数据的特征。也就是说我们的目的为了获得整体数据的数据特征,而经过实际测试...
  • 什么树模型不适合高维稀疏特征

    千次阅读 2019-09-27 10:17:23
    这个问题我也思考了好久,在平时的项目中也遇到了不少 case,确实高维稀疏特征的时候,使用 gbdt 很容易过拟合。 但是还是不知道为啥,后来深入思考了一下模型的特点,发现了一些有趣的地方。 假设有1w 个样本, y...
  • 这个问题我也思考了好久... 假设有1w 个样本, y类别0和1,100维特征,其中10个样本类别1,而特征 f1的值为0,1,且刚好这10个样本的 f1特征值都为1,其余9990样本都为0(在高维稀疏的情况下这种情况很常见),...
  • 前面无论用全部变量还是筛选出的特征变量、无论如何十折交叉验证调参,获得的模型应用于测试集时虽然预测准确率能在90%以上,但与不基于任何信息的随机猜测相比,这个模型都统计不显著的 (这一...
  • 想用matlab区分这四张图片,分别墙壁,树林,电线杆和电力线的雷达图。我现在想提取特征,然后输入到支持向量机中进行区分。...样本不多,自己提特征,而后支持向量机之类的 ...
  • 特征工程

    2019-08-12 16:48:40
    特征工程是什么?  有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中...
  • 问题:为什么深度学习的结构特点不利于稀疏特征向量的处理呢? 一方面,如果我们深入到神经网络的梯度下降学习过程就会发现,特征过于稀疏会导致整个网络的收敛非常慢,因为每一个样本的学习只有极少数的权重会得到...
  • 机器学习的一个环节:特征归一化。连续回答下面几个问题,相信也懂个七七八八。 1.什么是特征归一化? 将特征向量映射到同一分布、缩放到某一个范围内、去量纲的行为,称之为特征归一...具体的方法求出样本特征...
  • 特征选择

    2019-07-14 22:38:07
    机器学习之特征选择 特征选择方法初识: 1、为什么要做特征选择 ...将高维空间的样本通过映射或者变换的方式转换到低维空间,达到降维的目的,然后通过特征选取删选掉冗余和不相关的特征来进一...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,594
精华内容 637
关键字:

样本特征是什么