精华内容
下载资源
问答
  • 判别分析-基本思想.pptx
  • 从类别表现、样本情况、归类函数、归类原则、预测功效等5个方面对Logistic回归模型中的基线-类别Logit模型和判别分析方法中具有代表性的Bayes后验概率判别、Fisher判别的基本思想和步骤进行比较,并通过“鸢尾花”...
  • 关于聚类分析、判别分析、主成分分析、因子分析 主成分分析与因子分析的区别   1. 目的不同: 因子分析把诸多变量看成由对每一个变量都有作用的一些公共因子仅对某一个变量有作用的特殊...

    主成分分析与因子分析的区别

     

    1. 目的不同: 因子分析把诸多变量看成由对每一个变量都有作用的一些公共因子和仅对某一个变量有作用的特殊因子线性组合而成,因此就是要从数据中控查出对变量起解释作用的公共因子和特殊因子以及其组合系数;主成分分析只是从空间生成的角度寻找能解释诸多变量变异的绝大部分的几组彼此不相关的新变量(主成分)。

    2. 线性表示方向不同: 因子分析是把变量表示成各公因子的线性组合;而主成分分析中则是把主成分表示成各变量的线性组合。

    3. 假设条件不同:主成分分析中不需要有假设;因子分析的假设包括:各个公共因子之间不相关,特殊因子之间不相关,公共因子和特殊因子之间不相关。

    4. 提取主因子的方法不同:因子分析抽取主因子不仅有主成分法,还有极大似然法,主轴因子法,基于这些方法得到的结果也不同;主成分只能用主成分法抽取。

    5. 主成分与因子的变化:当给定的协方差矩阵或者相关矩阵的特征值唯一时,主成分一般是固定的;而因子分析中因子不是固定的,可以旋转得到不同的因子。

    6. 因子数量与主成分的数量:在因子分析中,因子个数需要分析者指定(SPSS根据一定的条件自动设定,只要是特征值大于1的因子主可进入分析),指定的因子数量不同而结果也不同;在主成分分析中,成分的数量是一定的,一般有几个变量就有几个主成分(只是主成分所解释的信息量不等)。

    7. 功能:和主成分分析相比,由于因子分析可以使用旋转技术帮助解释因子,在解释方面更加有优势;而如果想把现有的变量变成少数几个新的变量(新的变量几乎带有原来所有变量的信息)来进入后续的分析,则可以使用主成分分析。当然,这种情况也可以使用因子得分做到,所以这种区分不是绝对的。

    1 、 聚类分析

    基本原理:将个体(样品)或者对象(变量)按相似程度(距离远近)划分类别,使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。

    常用聚类方法:系统聚类法,K-均值法,模糊聚类法,有序样品的聚类,分解法,加入法。

    注意事项:1. 系统聚类法可对变量或者记录进行分类,K-均值法只能对记录进行分类;

              2. K-均值法要求分析人员事先知道样品分为多少类;

               3. 对变量的多元正态性,方差齐性等要求较高。

    应用领域:细分市场,消费行为划分,设计抽样方案等

    2、 判别分析

    基本原理:从已知的各种分类情况中总结规律(训练出判别函数),当新样品进入时,判断其与判别函数之间的相似程度(概率最大,距离最近,离差最小等判别准则)。

    常用判别方法:最大似然法,距离判别法,Fisher判别法,Bayes判别法,逐步判别法等。

    注意事项:1. 判别分析的基本条件:分组类型在两组以上,解释变量必须是可测的;

               2. 每个解释变量不能是其它解释变量的线性组合(比如出现多重共线性情况时,判别权重会出现问题);

               3. 各解释变量之间服从多元正态分布(不符合时,可使用Logistic回归替代),且各组解释变量的协方差矩阵相等(各组协方方差矩阵有显著差异时,判别函数不相同)。

    相对而言,即使判别函数违反上述适用条件,也很稳健,对结果影响不大。

    应用领域:对客户进行信用预测,寻找潜在客户(是否为消费者,公司是否成功,学生是否被录用等等),临床上用于鉴别诊断。

    3、 主成分分析/ 因子分析

    主成分分析基本原理:利用降维(线性变换)的思想,在损失很少信息的前提下把多个指标转化为几个综合指标(主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能(主成分必须保留原始变量90%以上的信息),从而达到简化系统结构,抓住问题实质的目的。

    因子分析基本原理:利用降维的思想,由研究原始变量相关矩阵内部的依赖关系出发,把一些具有错综复杂关系的变量归结为少数几个综合因子。(因子分析是主成分的推广,相对于主成分分析,更倾向于描述原始变量之间的相关关系)

    求解主成分的方法:从协方差阵出发(协方差阵已知),从相关阵出发(相关阵R已知)。

            (实际研究中,总体协方差阵与相关阵是未知的,必须通过样本数据来估计)

    求解因子载荷的方法:主成分法,主轴因子法,极大似然法,最小二乘法,a因子提取法。

    注意事项:1. 由协方差阵出发与由相关阵出发求解主成分所得结果不一致时,要恰当的选取某一种方法;

              2. 对于度量单位或是取值范围在同量级的数据,可直接求协方差阵;对于度量单位不同的指标或 是取值范围彼此差异非常大的指标,应考虑将数据标准化,再由协方差阵求主成分;

              3.主成分分析不要求数据来源于正态分布;

              4. 在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题(最小特征根接近于零,说明存在多重共线性问题)。

                 5. 因子分析中各个公共因子之间不相关,特殊因子之间不相关,公共因子和特殊因子之间不相关。

    应用领域:解决共线性问题,评价问卷的结构效度,寻找变量间潜在的结构,内在结构证实。

    4、 对应分析/最优尺度分析

    基本原理:利用降维的思想以达到简化数据结构的目的,同时对数据表中的行与列进行处理,寻求以低维图形表示数据表中行与列之间的关系。

    对应分析:用于展示变量(两个/多个分类)间的关系(变量的分类数较多时较佳);

    最优尺度分析:可同时分析多个变量间的关系,变量的类型可以是无序多分类,有序多分类或连续性变量,并 对多选题的分析提供了支持。

    5、典型相关分析

    基本原理:借用主成分分析降维的思想,分别对两组变量提取主成分,且使从两组变量提取的主成分之间的相关程度达到最大,而从同一组内部提取的各主成分之间互不相关。


    展开全文
  • 详细解说LDA线性判别分析方法

    千次阅读 2018-03-17 21:36:24
    转载原文网址:LDA 线性判别分析LDA, Linear Discriminant Analysis,线性判别分析。注意与LDA(Latent Dirichlet Allocation,主题生成模型)的区别。1、引入 上文介绍的PCA方法对提取样本数据的主要变化信息非常...

    转载原文网址:LDA 线性判别分析

    LDA, Linear Discriminant Analysis,线性判别分析。注意与LDA(Latent Dirichlet Allocation,主题生成模型)的区别。

    1、引入

      上文介绍的PCA方法对提取样本数据的主要变化信息非常有效,而忽略了次要变化的信息。在有些情况下,次要信息可能正是把不同类别区分开来的分布方向。简单来说,PCA方法寻找的是数据变化的主轴方向,而判别分析寻找的是用来有效分类的方向。二者侧重点不同。在图1.1可以看出变化最大的方向不一定能最好的区分不同类别。

    图1.1 用PCA和LDA对数据进行投影

    2、LDA算法分析

      LDA算法主要用来对样本进行分类,其分类的核心思想是:将高维样本数据投影到最佳分类的向量空间,保证在新的子空间中,有更大的类间距离和更小的类内距离。

      设样本数据为:,将原始样本经过w变换后变成了z,其中,变换规则为:

      变换的目的在于使得同一类的样本被w作用后距离更近,不同类的样本被w作用后距离更远。为了能更好的度量类内距离和类间距离,我们先定义中心点,即均值,设Xi为类别ci的样本数据的集合,则Xi的中心点为:

      Ni为类别ci的样本数,即Xi的数目。

      此中心点经过w变换后得到的中心点为:

      即样本集Xi的中心点的投影为Xi中各元素投影后的均值。

      现在,我们需要使得投影之后同类之间样本距离更小,而不同类之间的样本距离越大。为此,我们通过定义类间距离和类内距离:

     

    1)类内距离。

      类内距离主要用各样本点到该样本点所在类别的中心点的距离和来表示。我们使用散列度来表示一个类别的类内距离。对于投影之后类别为i的类内散列度(scatter,类似方差)为:

      其中Zi表示类别为i的所有样本集合。将上式进行变换得:

      为了使得表达式简介,令:

      所以有:

      上式只是一个类别的散列度,若将所有类别的散列度相加,便得到整个样本的类内离散度:

      将上式进行整理:

      令:

      所以:

      其中,Sw被称为类内散度矩阵。

     

    2)类间距离。

    类间距离主要通过两个类之间的中心点距离来衡量。但是当类别很多时如何计算类间距离呢?下面分别进行分析。

    A)只有两个类别时。假设两个类别样本数据分别为z1,z2,此时,类间离散度为:

    其中,

    将上式整理成只包含x的式子:

    令:

    于是:

    其中,SB被称为类间散度矩阵。

    B)有多个类别时。根据只有两个类别的情况,我们很容易可以得到类间离散度为:

    此时共有c(c-1)/2项的求和,时间复杂度为O(c2)。

    通过上式,我们可以求得相应的类间散度矩阵为:

    可能是这种方法复杂度太高,故而LDA并没有使用这种方法来计算多类别的类间离散度,而是采用了一种比较间接的方式。首先定义X的整体散度矩阵,

    样本集的整体散度为类间散度和类内散度之和:

    于是类间散度可是使用下式来进行计算:

    现在我们对上式进行推导:

    为了更加清楚的求解上式,我们将里面的求和搬出来进行分析:

    将上式代入上上式得:

    同样,最终得到类间散度为:

    SB:为类间散度矩阵。

    至此,我们已经得到了类内散度JW和类间散度JB,现在可以使用这两个散度来构造目标函数J(w):

      现在,我们需要求得目标函数最大时的w,因为这时通过w映射后的样本数据具有最佳的类间距离和类内距离。从目标函数可以看出。当w成倍的放大或缩小时,目标函数保持不变,因而我们通过目标函数最大只能得到w的方向。为了使得计算简单,我们假设分母的值为1,即:

    首先,上式的计算结果是一个数,而不是一个向量或矩阵,于是我们可以设为:

    即:

    于是有:

    因为我们最终求得的w的大小是可以随意的,只是方向是确定的,因此,我们将上面的分母设为1是合理的。

    这时我们将原问题转化成了有约束的最优化问题:

    看到此问题毫不犹豫的想起了用了无数次的拉格朗日定理,于是,我们使用拉格朗日乘子得:

    对w求导:

    令导数为零:

      上式中的Sw若可逆则可以直接移到等式左边,但是当样本维数较高,而样本数较少时,这时的Sw可能为奇异矩阵。此时可以考虑先使用PCA对样本进行降维,然后再对降维后的数据使用LDA。

    在此,先假设Sw是可逆的,则有:

      这就是传说中的Fisher Linear Discriminantion公式。其实FLD和LDA在很多情况下可以互换。

      现在,我们可以看出w为上面式子的特征向量,而我们需要的w为特征值最大时所对应的特征向量。特征值最大,意味着在对应的特征向量上的变化最大。

      上式的不一定是对称矩阵,在求它的特征向量时不能使用奇异值分解,这样就只能使用普通的求特征向量的方式,普通的方式时间复杂度为O(n3),

      于是我们对上式中的SBw进行分析得到:

      于是:

      至此,我们已经得到了样本的最佳映射w,w=(w1,w2,…,wd’),当我们将样本集x使用w进行映射后得到了具有最佳分类效果的样本z。

     

    3、LDA分类

      那么在最佳的分类空间如何对样本进行分类?

      1)对二分类问题。由于只有两个类别,在经过上面的求解后,最后所有样本将会映射到一维空间中,设两个不同样本映射后的中心点分别为,我们将两个类别的中心点之间中心点作为分类点。

      最后,我们将的x分为一类,其他的分为另一类。

      2)对多分类问题。通过LDA方法最终将原始数据映射到c-1个维度上,现在我们需要在这c-1个维度上将样本集分成c类。这个怎么分呢?本人暂时也不知道,能想到的只是将问题转化为二分类问题。实际上,对于多类的情况主要考虑用来降维。

      对于此类问题,我们主要将它转化为二分类来处理,我们使用一对其余的方法。简单来说就是先将所有c类样本分成1和2~c,然后再将2~c分为2和3~c,以此类推,直到完全分开。

     

    3、维度分析和总结

             上面我们将原样本的维度从d维降到了d’(此时使用d’来表示,d’<d)。那么d’到底最大是多少呢?因为特征向量是通过而求出,所以特征向量的维数d’不会大于的秩。而SB的秩

      而:

      存在线性组合使得:

      所以有:

      因此:

      所以通过LDA算法进行映射的最终空间维度不会超过c-1个维度。当只有两个类别时,那么就只能将其投影到一维的空间中进行分类。

      在我们进行多分类时,并不是真的直接在c-1个维度上将样本分成c类,而是拆分成二分类的情况来进行分类。而我们千辛万苦推导出来的多分类的情形主要用来降维。

      另外,本人认为应该可以在c-1个维度上对c个类别的样本进行划分,只是本人尚未发现好的方法!

      在实际应用中,LDA算法表现出来的效果相比其他方法并不十分理想(一般情况下)。并且还可能会出现过拟合的情况。但是LDA算法的这种数学思想非常值得学习研究!

     

    参考文献:

    [1] Richard O. Duda, 模式分类

    [2] peghoty, http://blog.csdn.net/itplus/article/details/12038357

          http://blog.csdn.net/itplus/article/details/12038441

    [3] http://www.cnblogs.com/cfantaisie/archive/2011/03/25/1995849.html

    展开全文
  • 判别分析

    千次阅读 2018-11-27 23:53:17
    简要介绍了判别分析中的DISCRIM过程、STEPDISC过程CANDISC过程。

    根据已有的数据分类知识,建立一个判别准则,使其错判率最低,进而基于这个判别准则实现对未知样本所属类别进行判断。

    一般判别分析

    DISCRIM过程

    格式:

    proc discrim data=数据集名;
    class 变量; *此语句必需的,指定判别分析用的分类变量名;
    var 变量列表;*指定判别分析中使用的变量;
    run;
    

    注:
    1.proc过程选项:
    I.list:显示已知分类的数据集重分类的结果;
    ii.testlist:在结果窗口中显示对检验未知样本的所有分类结果;
    iii.testdata=待分析数据集名

    根据下面第一张表对经济发达水平的判别,对第二张表进行经济发达水平的判别分析。


    代码:

    data test1;        /*创建判别分析数据*/
    input area$ x1-x7 type;
    cards;
    西城区 1.96  18.85 19.34 198.49 89.11 59.88 2.34  2
    崇文区 0.94  6.49  10.98 61.95 32.9  39.3  1.1  1
    宣武区 0.33  12.04 58.8  586.48 458.73 167.29 6.78  2
    石景山区 1.01  16.14 74.26 483.57 209.81 250.16 3.91  2
    海淀区 201.26 69.5  125.01 640.38 373.06 448.59 36.5  3
    门头沟区 0.97  4.32  8.67  44.31 27.02 18.91 0.59  2
    房山区 4.17  1.42  43.88 293.31 163.33 305.44 0.03  2
    通州区 5.46  10.71 14.99 86.64 54.18 48.65 1.06  2
    顺义区 10.33 135.15 42.91 231.81 131.43 229.14 14.25 3
    昌平区 9.1  10.37 17.45 103.33 61.94 52.28 2.39  2
    大兴区 14.15 94.62 56.59 199.47 102.55 140.28 13.64 3
    平谷县 6.99  8.17  9.58  49.42 37.22 30.96 1.6  1
    怀柔县 10.59 17.84 21.48 80.42 47.75 75.95 4.25  1
    密云县 2.92  17.52 14.32 42.99 24.89 37.44 1.79  1
    ;
    run;
    data test2;        /*创建待判别分析数据*/
    input area$ x1-x7; 
    cards;
    东城区 2.46  42.33 24.6  178.96 77.67 87.86 6.39
    朝阳区 52.08 313.41 124.83 836.01 473.35 581.38 30.3
    丰台区 14.33 32.01 30.38 202.38 125.29 116.2 3.83
    延庆县 0.44  0.58  1.24  7.64  5.66  5.05 - 0.09
    ;
    run;
    proc discrim data=test1 testdata=test2 list testlist;
    class type;
    var x1-x7;
    run;
    

    结果:
    一些基本信息:
    以下是对已知分类的数据重分类后的结果:

    以下是对未知分类数据进行分类的结果:

    典型判别分析

    即通常的Fisher判别分析。

    CANDISC过程

    类似于主成分分析,通过数据降维,找一些变量,其为已存在变量的线性组合,使得依据这些变量可以很好地对数据进行分类判别。若要获得完整的判别分析结果,还需要将CANDISC过程的输出结果作为DISCRIM过程的输入,进行一般判别分析。
    格式:

    proc candisc data=数据集名 outstat=数据集名;
    class 变量;
    var 变量;
    run;
    

    注:
    1.proc过程的选项:
    a.outstat指定一个数据集,包含典型判别分析各种统计量;

    逐步判别分析

    思想类似于逐步回归分析

    STEPDISC过程

    用于在判别分析之前筛选出对数据的判别具有显著影响的变量,凭借这些结果(var var1 ... varm)再使用Discrim过程进行一般判别分析。
    格式:

    proc stepdisc data=数据集名;
    class 分类变量;
    var 指标变量; *逐步分析判别中使用的变量;
    

    注:
    1.proc stepdisc选项:
    a.method:指定筛选变量的方法,包括forward、backward、stepwise;

    根据下面第一张表对评价等级的判别,对第二张表进行经济发达水平的判别分析。


    代码:

    data test;      /*创建判别分析数据*/
    input x1-x5 type;
    cards;
    195 119 1815 43 28 3
    386 12 1908 202 32 1
    225 131 1516 115 36 2
    369 228 1537 150 21 2
    212 240 1851 174 38 2
    211 276 2088 248 38 2
    208 254 1483 205 32 2
    191 116 1552 299 25 3
    406 190 1773 288 37 1
    12 222 1735 27 30 4
    140 66 1931 114 34 3
    31 272 1664 69 28 4
    314 175 2009 85 39 2
    296 193 1636 183 21 2
    442 77 1241 24 31 2
    ;
    run;
    data test2;       /*创建待判别分析的数据集*/
    input x1-x5;
    cards;
    253 169 1910 175 25
    186 280 2277 213 37
    97 107 2048 89 26
    285 200 1914 227 33
    332 223 1630 224 21
    ;
    proc stepdisc data=test stepwise;
    class type;
    var x1-x5;
    run;
    proc discrim data=test testdata=test2 list testlist;
    class type;
    var x1 x2 x4;
    run; 
    

    结果:
    先进行stepdisc过程,结果显示x1、x2、x4选入的逐步回归模型:
    以下是根据判别变量x1、x2、x4对未知数据进行分类的结果:

    展开全文
  • 判别分析基础

    千次阅读 2016-03-29 12:46:57
    与聚类分析的比较 判别分析是判别样品所属类型的一种统计方法判别分析与聚类分析不同,判别分析是在已知研究对象分成若干类型(或...判别分析基本思想:样品哪个总体距离最近,就判断它属于哪个总体。距离判别也
    1. 与聚类分析的比较
      判别分析是判别样品所属类型的一种统计方法。
      判别分析与聚类分析不同,判别分析是在已知研究对象分成若干类型(或组别)并已取得各种类型的一批已知样品的观测数据。在实际中判别分析和聚类分析往往联合起来用,当总体分类不清楚时,可先用聚类分析对原来的一批样品进行分类,然后再用判别分析建立判别式以对新样品进行判别。

    2. 判别分析基本思想:样品和哪个总体距离最近,就判断它属于哪个总体。距离判别也称为直观判别。

      (一)距离判别法
      对各类总体的分布并无特定要求
      基本思想:首先根据已知分类的数据,分别计算各类的重心即分组(类)的均值;
      判别准则:对任给的一次观测,若它与第i类的重心距离最近,就认为它来自第i类。
      分两种情况,如果各类协方差阵相等,则建立的判别函数为线性判别函数;如果各类协方差阵不相等,则建立的判别函数为二次函数。

      (二)Fisher判别法
      按类内方差尽量小,类间方差尽量大的准则来求判别函数的。
      该方法的基本思想是投影,即将原来空间的自变量组合投影到维度较低的空间去,然后再进行分类。(线性判别法LDA)
      注意:
      构造判别式的样品个数必须至少是指标个数的两倍;构造判别式的样品个数不宜太少,否则会影响判别式的优良性;其次判别式选用的指标不宜过多,指标过多不仅使用不方便,还会影响预报的稳定性,在建立判别式之前,应挑选对分类特别有关系的指标。

      (三)Bayes判别法
      首先需要知道待判总体的先验概率和密度函数(概率函数),当取得样本后,就可以用样本来修正已有的先验概率分布,得出后验概率分布,通过后验概率分布进行各种统计推断。

      实际中遇到的许多总体往往服从正态分布,所以常用的是正态总体的判别函数,此时分两种情况:一是假设所有总体的协方差阵相等,这时的判别函数为线性判别函数,即判别函数是从各类合并的协方差阵得来;二是所有总体的协方差阵不等,此时的判别函数为非线性判别函数,即判别函数是从各类协方差阵得来。
      如果总体的分布未知或不服从正态分布,可用非参数方法,来估计类别密度实现分类。此类非参数法包括(kernel method)核密度估计法和KNN最近邻法

      (四)逐步判别法
      类似于回归分析,这是一种变量选择的方法,选择判别能力高的变量。这个筛选过程实质就是作假设检验,通过检验找出显著性变量,剔除不显著变量。

      逐步判别法要求指标变量在各组内服从多元正态分布,并且具有相同的协方差阵。因此各个类之间的统计差别表现在均值向量上。若各个均值相等,则各个总体的统计差异不显著,在此基础上建立判别函数肯定不好。就产生了对各个类均值的假设检验。

      前进法选择变量时,stepdisc过程依据每一个变量对判别效能贡献(由WILKs` lambda值及相应统计量进行判断)的大小次序排序,将贡献最大者作为待选择变量,然后判断该变量是否达到事先指定的变量选入标准(依据方差分析的F检验)。

      后退法选择变量时,最初的判别模型包括了所有待选择的变量,在后续操作的每一步,依据每一个变量对判别效能贡献的大小次序,将贡献最小者作为考察变量,判断该变量是否达到事先指定的变量剔除标准,如果是则将其剔除模型,直到留下的变量没有达到事先指定的变量剔除标准。

      逐步法选择变量时,最初的判别模型与用前进法时的相同,未包含任何变量。后续的每一步操作中,先对已选入模型的变量进行比较,进行剔除操作,再对未入选的变量进行选入操作,重复以上步骤,直到模型中的变量没有任何一个达到剔除标准并且模型外的变量没有任何一个达到选入标准。

      要注意的是,在选入变量的过程中,每一步只选择一个变量进入模型,而且在此过程中并未考虑模型外变量之间的关系问题,因此一些重要的变量可能会被排出在模型外,因此在实际应用中,要善于用交叉验证结果对判别模型进行恰当的评价,Wilks` lambda值也并不总是评价判别效能的最佳指标。

    判别方法的比较:
    Fisher判别法随着总体变量个数的增加,判别式也增加,因此计算起来比较麻烦。Bayes判别法对多个总体的判别考虑的不是建立判别式,而是计算新样品属于各总体的条件概率,将新样品判给来自概率最大的总体。
    一般用Fisher判别即可,要考虑概率及误判损失最小的用Bayes判别,但变量较多时,一般先进行逐步判别筛选出有统计意义的变量,再结合实际情况选择用哪种判别方法。

    附上上文结构:

    展开全文
  • 线性判别分析(Linear Discriminant Analysis,简称LDA)是一种经典的线性学习方法,在二分类问题.上因为最早由[Fisher, 1936]提出,亦称“Fisher判别分析”。 LDA的基本思想:给定训练样例集,设法将样例投影到一条直线上...
  • 本文使用 R 语言,对鸢尾花的种类进行了聚类分析,并分别使用三种判别分析方法,距离判别法、Bayes 判别法 Fisher 判别法对鸢尾花的种类归属进行了判别分析。在讨论中,对三个判别模型的判别效果进行了评价,最后...
  • 主成分分析(PCA)线性判别分析(LDA)原理简介

    万次阅读 多人点赞 2018-02-04 21:58:53
    本文整理自下面的博客,对PCA... PCA(主成成分分析)LDA(线性判别分析)详解-共性区别 4).什么时候使用PCALDA? 5).PCA的数学原理 6).Dimensionality Reduction——LDA线性判别分析原理篇 7).主成分分析...
  • 文章目录判别分析判别分析的基本思想距离判别两总体情况多总体情况贝叶斯判别费歇判别逐步判别 判别分析 本章介绍的判别分析适用于被解释变量是非度量变量的情形。在这种情况下,人们对于预测解释影响一个对象...
  • Clementine回归分析和判别分析

    千次阅读 2016-12-23 14:53:40
    Clementine回归分析和判别分析 二项Logistic回归 熟悉统计的同学对回归肯定不陌生。前面我们介绍正态分布(NormalDistribution)的时候也多少提到过回归。事实上,回归这一概念最早是在19世纪7、80年华由著名的...
  • 线性判别分析

    2016-11-13 12:06:34
    线性判别分析(Linear Discriminant Analysis) 线性判别分析Linear Discriminant Analysis 线性分类器 判别式函数discriminant functions从判别式或后验概率到决策面 线性判别分析Linear ...
  • R语言 判别分析小结

    千次阅读 2017-02-18 14:57:35
    判别分析方法大体上有三类,即距离判别、Fisher判别Bayes判别。距离判别思想是根据已知分类的数据计算各类别的重心,对未知分类的数据,计算它与各类重心的距离,与某个重心距离最近则归于该类。Fisher判别...
  • 线性判别分析LDA

    2018-10-10 20:37:12
    线性判别分析LDA 前言:我在我的第一家公司分析宏基因组数据时,碰到过LDA,不过当时没有去搞明白,今天有机会再来学习它。在这里,我们将了解到线性判别分析是属于一种线性分类器。 线性分类器是最简单的分类器。...
  • 基于Bayes判别分析的基本思想,建立煤层底板突水危险性的Bayes判别分析模型。选用煤层的含水层富水性、含水层水压、隔水层厚度、断层导水性构造发育程度5个指标作为该模型的判别因子,以不同地区煤矿的14组煤层实测...
  • k近邻判别分析

    2018-05-04 16:25:49
    本文阐述了k-近邻判别分析法的基本思想,对该方法运用 于个人信用评估的适用性进行了分析,通过确定相应的评估指标体系,建立 了基于k-近邻判别分析法的个人信用评估模型,使用一个小样本集数据对 模型进行了应用,对模型...
  • 1.3-判别分析

    千次阅读 2018-07-09 16:39:40
    判别分析方法最初应用于考古学, 例如要根据挖掘出来的人头盖骨的各种指标来判别其性别年龄等. 近年来, 在生物学分类, 医疗诊断, 地质找矿, 石油钻探, 天气预报等许多领域, 判别分析方法已经成为一种有效的统计推断...
  • 鉴于此,基于流形正则化思想,提出了一个新的格拉斯曼流形上的半监督判别分析方法(SDAGM),将其应用于图像集合的识别问题。通过构建近邻图刻画格拉斯曼流形上的所有样本局部几何结构,并使其作为正则化项添加到格拉斯曼...
  • 多元统计:判别分析

    千次阅读 2020-06-09 13:11:26
    距离判别法的基本思想和方法3. 距离判别法例题三. 贝叶斯判别法1. 贝叶斯判别法原理2. 贝叶斯判别法则3. 贝叶斯判别法例题四. 费希尔判别法1. 费希尔判别法原理五. 距离判别法、贝叶斯判别法和费希尔判别法的异同 ...
  • 基于R_判别分析

    2018-10-28 11:05:52
    判别分析的概念 ...理解判别分析的目的及其统计思想 了解熟悉哦按别分析的三种类型 掌握不同的判别方法的判别规则判别函数 运用R语言 1 判别分析简介 线性判别函数 1.1 概念 Discrimina...
  • fisher判别分析原理+python实现

    万次阅读 多人点赞 2017-05-03 20:07:41
    参考资料: 周志华老师的《机器学习》 ...判别分析是一种经典的现行分析方法,其利用...在这里我们主要讨论fisher判别分析方法。fishter原理费歇(FISHER)判别思想是投影,使多维问题简化为一维问题来处理。选择一个
  • 针对单一软测量模型难以精确描述复杂非线性的化工生产过程的问题,为提高软测量模型的预测精度,基于多模型建模思想,提出一种基于二次判别分析的支持向量机多模型建模方法。首先依据样本输出空间的值区间把样本集合...
  • 判别分析系列博文: 判别分析 ( distinguish analysis)(一):距离判别 判别分析 ( distinguish analysis)(二):Fisher 判别 判别分析 ( distinguish analysis)(三):Bayes 判别 判别分析 ( distinguish ...
  • 模糊数据的风险判别分析,郑文瑞,张敬芝,本文引入建立在模糊样本均值方差基础上的模糊距离概念,借助文献[2]的思想对文献[1]的模糊判别分析给出了此判别的风险分析方法
  • 目录1. 简单的判别分析_ 距离判别法2. Fisher判别分析/线性判别分析 1. 简单的判别分析_ 距离判别法 2. Fisher判别分析/线性判别分析

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,128
精华内容 7,251
关键字:

判别分析的主要方法和思想