精华内容
下载资源
问答
  • Fisher判别

    2012-07-26 09:18:17
    Fisher判别 费希尔判别
  • 上期《判别分析概述》中我们提到,判别分析(discriminant analysis)是根据判别对象若干个指标的观测结果判定其应属于哪一类的数据统计方法,其中Fisher判别一般用于指标为定量资料的两类判别,Bayes判别多用于指标...

    上期《判别分析概述》中我们提到,判别分析(discriminant analysis)是根据判别对象若干个指标的观测结果判定其应属于哪一类的数据统计方法,其中Fisher判别一般用于指标为定量资料的两类判别,Bayes判别多用于指标为定量资料的多类判别,同时,两者均可利用SPSS完成,但在运用和解读过程中非常容易混淆,所以柠檬精建议读者在简单了解二者的基本原理后再进行实践。

    084083f424b0611ad5c014068231a037.gif

    Fisher判别,又称典则判别(canonical discriminant),适用于两类和多类判别。我们将结合两类判别的问题,来介绍一下Fisher判别的原理。

    084083f424b0611ad5c014068231a037.gif

    已知有A类和B类两类观察对象,A类有a例,B类有b例,分别记录了X1,X2,……Xm个观察指标,我们称这m个观察指标为判别指标或变量。

    Fisher判别法就是找到一个线性组合

    d9418a0ba94f8311b51f7a331ea795d5.png

    使得综合指标Z在A类的均数与B类的均数的差异尽可能大,而两类的类内综合指标的变异(S2A+S2B)尽可能小,也就是类间差异尽可能大,类内变异尽可能小,即使

    96ce59d2171c7cea05f19b6968f7538d.png

    达到最大,此时综合指标的公式便称为Fisher判别函数,C1,C2,……,Cm即为判别系数。

    建立判别函数后,我们逐例计算出综合指标Zi,求得A类的均数、B类的均数及总均数,按照下式计算判别界值:

    ab84877b12b6068228ec0c998ab8d89c.png

    如果A类均值大于B类的话,最终的判别规则如下:

    c2579946f61843b4379b6f31f09950bb.png

    收集22例肝硬化患者的3个指标(腹水量X1,肝长径X2,肝短径X3)中心化、标准化后的资料,其中早期患者A类12例,晚期患者B类10例,如果让我们做Fisher判别:

    Step1找到一个类间差异尽可能大,类内变异尽可能小判别函数,各系数通过合并协方差阵代入解方程可得,即Z=-0.070X1+0.225X2-0.318X3;

    Step2 逐例计算综合指标Zi,计算出A类、B类的均数和总均数分别为1.428,-1.722,-0.004;

    Step3 确定界值,进行两类判别Zc=(1.428+1.722)/2=-0.147,那么-0.147即为界值,Z值高于-0.147即判别为A类,低于则判别为B类。

    Step4 判别效果评价,一般要求判别函数的误判概率小于0.1或0.2才有应用价值。本例有4例错判,那么误判概率为4/22=18.2%。

    表 22例患者3项指标观察结果

    e94d6d2d2e583780342429de3e134143.png

    多类Fisher判别原理与两类Fisher判别相似,假定有g类,就需要建立g-1个综合指标的判别函数,尽管理论完备,但在判别规则那一步就相对复杂很多,所以我们一般不用Fisher判别来做多类判别,故在此不做介绍。

    084083f424b0611ad5c014068231a037.gif

    小结

    Fisher判别多用于指标为定量资料的两类判别,是寻找一个合适的线性组合,使得综合指标在类间差异尽可能大,类内变异尽可能小,以达到判别目的。

    展开全文
  • 通过之前的推送,我们已经学习到Fisher判别(canonical discriminant)和Bayes判别均用于判别指标为定量资料的判别。前者是寻找合适的投影方向,使投影所得的综合指标类内差异极小化、类间差异极大化,达到判别目的...

    通过之前的推送,我们已经学习到Fisher判别(canonical discriminant)和Bayes判别均用于判别指标为定量资料的判别。前者是寻找合适的投影方向,使投影所得的综合指标类内差异极小化、类间差异极大化,达到判别目的,多用于两类判别;后者也是在考虑先验概率的基础上,建立各类的线性函数,以概率作为判据,多类判别常用此方法。

    b0f9ac17681e12258fbfd02fe021842f.gif

    本期内容我们将在SPSS上实践操作Fisher判别和Bayes判别,以下是我们本期使用的案例:

    为研究某些心电图指标对区分健康人、主动脉硬化症患者和冠心病患者3类人群,收集23名诊断明确的研究对象的心电图资料,试作判别分析。

    (注:在SPSSSS学堂主页,回复20190902即可获得案例数据哦)

    b0f9ac17681e12258fbfd02fe021842f.gif

    操作过程

    1.数据格式:总共23个观察单位,6个变量。在6个变量中,5个数值变量(指标)分别为x1、x2、x3、x4、x5,1个分类变量category,分别赋值为1=健康人、2=主动脉硬化、3=冠心病。

    de5f4c2143f6ab7fd0c5c253760cdc8d.png

    2.过程

    (1)从菜单内选择 分析 → 分类 → 判别式(D)。

    f1afc4e023ffe058a551005f03fc2476.png

    (2)判别分析主对话框

    ①将category选入分组变量并定义范围:最小值为,最大值为2,点击 继续 (如前述1=健康人、2=主动脉硬化、3=冠心病)。

    ②将指标x1、x2、x3、x4、x5选入自变量。

    ③自变量纳入方法有一起输入自变量和使用步进法(逐步法)两个选项,前者将所有自变量纳入判别函数,后者是逐步判别法,通过Wilks统计量再纳入或剔除变量,本例选择 一起输入自变量 。

    9833b8ffefbe23fc310b1846a2471f2b.png

    (3)统计对话框

    ①描述对话框:勾选 平均值 和 单变量ANOVA。

    ②函数系数:勾选 费希尔 和 未标准化

    注意:此处的费希尔函数系数对应的是贝叶斯判别函数系数,未标准化函数系数对应的是Fisher判别(典则判别)函数系数,根据输出结果我们可以根据之前学习的基本原理将二者分辨出来。

    ③点击 继续 。

    8acca99e7763b853005498d256244ac0.png

    (4)分类对话框

    ①先验概率:用于贝叶斯判别,本例先验无知,故选择等概率,即 所有组相等;若样本较大且无选择偏倚可选择样本频率,即 根据组大小计算。

    ②显示:本例勾选 个案结果 和 摘要表。留一分析即刀切法,是值得推荐的误判概率的估计方法。

    ③图:勾选 合并组,即各类共同输出在同一幅散点图中。

    ④点击 继续。

    44ea274a293fa6086fd292a2e46a0d23.png

    (5)保存对话框:勾选 预测组成员(即判别结果)、 判别得分(由Fisher判别函数计算)、 组成员概率(由Bayes判别函数计算),点击 继续 。

    1a44ec1d58de5ab5b3081652279ccc77.png

    (6)判别主对话框:点击 确定。

    b0f9ac17681e12258fbfd02fe021842f.gif

    输出结果

    1.产生新变量:Dis_1为判别结果,Dis1_1和Dis2_1为Fisher判别(典则判别)函数值(综合指标),Dis1_2、Dis2_2、Dis3_2为Bayes判别中属于各类的后验概率。

    d6b26f0ddb6a286236c67646d1dac581.png

    2.基本统计量:按原分类给出的基本统计量。

    1f16bdee2537ddb9afdbb5986be0124a.png

    3.各自变量的方差分析:

    (1)在威尔克Lambda统计量一列,越接近0说明组间差异越显著,越接近1,组间差异越不显著。

    (2)在显著性一列中,除了x1在三组间无显著性差异(P=0.203)外,其余变量在三组间均有统计学差异。

    5eb986acc89e1c7eaad0882007d3e74b.png

    4.Fisher(典则)判别函数

    97f99af62f4db5c669b550cf7bc2ce89.png

    根据典则判别函数系数可列出典则函数如下:

    D1=-13.788+0.292x1-0.025x2-0.053x3+2.452x4+0.783x5

    D2=0.010-0.111x1-0.016x2+0.138x3-0.188x4+0.488x5

    根据上述函数计算出的函数值D1和D2,即新变量中的Dis1_1和Dis2_1,结合判别分可以制定判别规则(结合判别8.分类图),即:

    D1≥0:判为第1类;

    D1<0且D2<0:判为第2类;

    D1<0且D2≥0:判为第3类。

    5.各分类的先验概率:我们选择了等概率,故各分类的先验概率均为1/3。

    924d2d371a8bf0ffde93433c3c7663d7.png

    6.Bayes判别函数

    表格的备注为Fisher线性函数,容易混淆视听,请小伙伴们注意,这是以各分类的概率大小作为判据的,肯定的是每个分类概率的函数,不是Fisher判别。

    b4a9288ad8f20acfb3cb61905713203f.png

    根据Bayes判别系数表可列出Bayes判别函数如下:

    原分类(1)Y1=-366.979+7.455x1-0.478x2+0.266x3+101.358x4+29.598x5

    原分类(2)Y2=-335.715+6.859x1-0.411x2+0.297x3+95.875x4+27.488x5

    原分类(3)Y3=-339.229+6.729x1-0.447x2+0.536x3+96.139x4+28.573x5

    将每个案例的各变量代入以上判别函数,可以获得3个函数值,将案例判别为函数值最大的一类;将函数值进一步计算后可获得3个后验概率,即新变量中的Dis1_2、Dis2_2、Dis3_2,将案例判给后验概率最大的一类;两种判别规则结果是完全一致的。

    7.判别符合率表:将所有案例的观察值代入判别函数后形成的判别结果,将判别结果与原分类对照可得到判别符合率,本例正确率为91.3%。

    556dda409ebfdb19cc697343d6e7d0e8.png

    8.判别分类图

    根据前述典则判别函数的准则,即:

    D1≥0:判为第1类;

    D1<0且D2<0:判为第2类;

    D1<0且D2≥0:判为第3类。

    若以0为原点,可将D值划分为四个象限,落在第一、四象限的为健康人,第二象限为冠心病人,第三象限为主动脉硬化病人,而原分类以不同颜色区分,我们不难发现有两例病人发生误判,第一象限内的绿圈是一名冠心病人被误判为健康人,第二象限内的红圈是一名主动脉硬化病人被误判为冠心病人。

    fd6ac06dc6e14585038fe993339582f0.png
    展开全文
  • 嵌套循环Fisher判别分析算法
  • fisher判别

    2012-07-10 17:18:32
    介绍 fisher判别式,模式识别的东西,想快速了解 fisher判别式的可下载
  • %%使用fisher判别给XOR问题分类 使用fisher判别给XOR问题分类
  • fisher判别

    2012-06-22 12:01:09
    fisher判别法 本实验通过编制程序体会Fisher线性判别的基本思路,理解线性判别的基本思想,掌握Fisher线性判别问题的实质。
  • fisher判别分析法

    2018-04-10 15:35:10
    很好的fisher判别的代码,简单易懂,明确的解释了该算法的原理,对于接触该类的算法有很好的启发。
  • 基于matlab的Fisher判别

    2015-01-07 12:43:58
    基于matlab的Fisher判别Fisher判别是找一条线把高维映射为一维在进行判别的方法。
  • Fisher判别分析

    2020-07-14 16:03:27
    Fisher判别分析 将高维度空间的样本投影到低维空间上,使得投影后的样本数据在新的子空间上有最小的类内距离以及最大的类间距离,使得在该子空间上有最佳的可分离性 可以看出右侧投影后具有更好的可分离性。 ...

    Fisher判别分析

    将高维度空间的样本投影到低维空间上,使得投影后的样本数据在新的子空间上有最小的类内距离以及最大的类间距离,使得在该子空间上有最佳的可分离性

    可以看出右侧投影后具有更好的可分离性。

    Fisher判别分析和PCA差别

    刚学完感觉两个很类似,实际上两个方法是从不同的角度来降维。

    PCA是找到方差尽可能大的维度,使得信息尽可能都保存,不考虑样本的可分离性,不具备预测功能。
    LAD(线性判别分析) 是找到一个低维的空间,投影后,使得可分离性最佳,投影后可进行判别以及对新的样本进行预测。

    Fisher判别详解
    Fisher判别分析是要实现有最大的类间距离,以及最小的类内距离

    注意点:

    1.LDA处理后的维度要小于类别数C,Sb的秩肯定小于等于C-1。
    2.Sw矩阵不可逆情况很多,可以先用PCA处理成C-1维后再用LDA,效果挺好的
    3.多分类情况下Sb用全局离散度矩阵减去类内离散度矩阵

     

    其它详解见:https://blog.csdn.net/PinappleMi/article/details/90261680

     

    展开全文
  • 在综合分析冲击地压多种影响因素的基础上,采用Fisher判别分析方法,结合文献提供的张集矿历年冲击地压24组相关数据实例,建立了冲击地压预测预报的Fisher判别分析模型,模型回代预测准确率为100%,误判率为0.将模型应用...
  • lfda, 局部Fisher判别分析的R 包 lfda软件用于对和visualizing局部Fisher判别分析,核局部Fisher判别分析和半监督局部Fisher判别分析算法进行 package 。这些算法的介绍和应用可以在这里找到,这里是,这里是 。 ...
  • Fisher判别分析法在判别混合水时,只能将此确定为最相像的某一分组,从而发生误判,因此在Fisher判别分析理论的基础上引入了质心距评价法,剔除可能为混合水样的样本数据,可以提高判别结果的准确率。为此选取13种水化学...
  • fisher判别法举例说明by Thalles Silva 由Thalles Silva Fisher线性判别式的说明性介绍 (An illustrative introduction to Fisher’s Linear Discriminant) To deal with classification problems with two or ...

    fisher判别法举例说明

    by Thalles Silva

    由Thalles Silva

    Fisher线性判别式的说明性介绍 (An illustrative introduction to Fisher’s Linear Discriminant)

    To deal with classification problems with two or more classes, most Machine Learning (ML) algorithms work the same way.

    为了处理两个或多个类的分类问题,大多数机器学习(ML)算法以相同的方式工作。

    Usually, they apply some kind of transformation to the input data with the effect of reducing the original input dimensions to a smaller number. The goal is to project the data into a new space. Then, once projected, the algorithm tries to…

    通常,它们对输入数据进行某种转换,从而将原始输入维数减小为较小的数量。 目标是将数据投影到新的空间。 然后,一旦进行投影,该算法将尝试...

    翻译自: https://www.freecodecamp.org/news/an-illustrative-introduction-to-fishers-linear-discriminant-9484efee15ac/

    fisher判别法举例说明

    展开全文
  • Fisher判别分析详解

    万次阅读 多人点赞 2019-05-16 13:24:56
    Fisher判别分析 将高维度空间的样本投影到低维空间上,使得投影后的样本数据在新的子空间上有最小的类内距离以及最大的类间距离,使得在该子空间上有最佳的可分离性 可以看出右侧投影后具有更好的可分离性。 Fisher...
  • 使用Fisher判别式进行无监督词典聚类
  • Fisher判别准则是模式识别中常用的一种分类方法,代码给出了Fisher判别准则投影向量和分类界面的计算方法,以及一个具体例子
  • 文章目录线性分类器和Fisher判别线性分类器Fisher判别例题分析Fisher判别python代码的推导代码:运行结果: 线性分类器和Fisher判别 线性分类器 在机器学习领域,分类的目标是指将具有相似特征的对象聚集。而一个线性...
  • 目录python代码实现Fisher判别推导一、Fisher判别法1、Fisher判别法基本定义二、Fisher判别法求解步骤1、计算各类样本均值向量2、计算样本类内离散度矩阵SiS_iSi​和总类内离散度矩阵SωS_\omegaSω​3、计算样本类...
  • 提出一种非线性分类方法--基于非线性映射的Fisher判别分析(NM-PDA).首先提取基向量;然后采用Nystrom方法,以基向量为训练样本,将形式未知的非线性映射近似表达为已知形式的非线性映射,这种近似的非线性映射将变量由非...
  • 基于四元数Fisher判别分析的双峰多特征融合
  • 针对隧道围岩分类问题,基于Fisher判别分析理论,选用岩石质量指标、完整性指数、饱和单轴抗压强度、纵波波速、弹性抗力系数和结构面摩擦因数等6个指标作为判别因子,以30组隧洞围岩数据作为学习样本进行训练,建立相应...
  • 基于核Fisher判别字典学习的稀疏表示分类
  • 本文基于增强型Fisher判别准则(EFDC),提出了一种新的特征提取方法,称为零空间多样性Fisher判别分析(NSDFDA),用于人脸识别。 提出了基于新优化准则的NSDFDA,这意味着可以在类内散点的零空间中计算所有判别...
  • 本文在回顾传统Fisher判别分析理论的基础上,指出了量纲及量纲标准化过程对判别分析过程产生的影响,并建立了一种相对Fisher判别分析方法:。先通过预处理的方法:消除量纲差异带来的虚假影响,然后根据系统要求对观测...
  • Fisher判别

    千次阅读 2017-11-22 12:41:44
    Fisher判别分析 首先我们得搞清楚什么是Fisher算法?选取任何一本模式识别与智能计算的书都有这方面的讲解。首先得知道Fisher线性判别函数,在处理数据的时候,我们经常遇到高维数据,这个时候往往就会遇到“维数...
  • 提出了用于处理多峰问题的本地Fisher判别分析(LFDA)。 它不仅结合了用于保存高维数据局部结构的局部保留投影(LPP)的思想,而且还结合了用于获得判别力的Fisher判别分析(FDA)的思想。 但是,LFDA还存在采样不足...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,223
精华内容 489
关键字:

fisher判别