精华内容
下载资源
问答
  • fisher准则线性分类器设计.doc 一、基于FISHER准则线性分类器设计1、实验内容已知有两类数据和二者的概率已知1P06,04。122P中数据点的坐标对应一一如下1数据X...

    41528d3028836879cd698677c3999917.giffisher准则线性分类器设计.doc

    一、基于FISHER准则线性分类器设计1、实验内容已知有两类数据和二者的概率已知1P06,04。122P中数据点的坐标对应一一如下1数据X023311520706499077571052411974029080251806682056220902301333054310940702126005070081007315033451065000247010430312206655058381165312653081370339905152072260201504070017171057302099Y233852194616730163651784420155206812121324797151181969218340187042294817714239391564819329220272456817523169912488317259204662022623757179872082820798194492380122373216141923522604Z053380851410831041641117605536060710443904928059011092710756100720427204353098690484110992102990712710124045760854411275077050412910085076760841808784097510784004158103150753309548数据点的对应的三维坐标为2X2140101230120814116551374011829176321973924152258902847219539125001286412614200712183117909133221146617087159202935314664293131834918340250962719823148203532603012327214651567329414Y2102980961109154149010820009399114051067808050128891460114334070911294213744093871226611833087980559205150099830912007126128331102912680071401244613392118080550314708114350767911288Z2062101365605498067080893214342095080732405784149431091507644121591304911408093980619706603139281408406909084000538113729077310731913439081420958607379075480739306739086511369911458数据的样本点分布如下图2101230511522500511521请把数据作为样本,根据FISHER选择投影方向的原则,使原样本W向量在该方向上的投影能兼顾类间分布尽可能分开,类内样本投影尽可能密集的要求,求出评价投影方向的函数,并在图形表示出来。并在实验报告中表示出来,并求使取极大值的。WJF用MATLAB完成FISHER线性分类器的设计,程序的语句要求有注释。2根据上述的结果并判断(1,15,06)12,10,055,20,09,068,12,15,089,(023,233,143),属于哪个类别,并画出数据分类相应的结果图,要求画出其在上的投影。W3回答如下问题,分析一下的比例因子对于FISHER判别函数没有影W响的原因。2、实验代码X1023311520706499077571052411974029080251806682056220902301333054310940702126005070081007315033451065000247010430312206655058381165312653081370339905152072260201504070017171057302099X2233852194616730163651784420155206812121324797151181969218340187042294817714239391564819329220272456817523169912488317259204662022623757179872082820798194492380122373216141923522604X3053380851410831041641117605536060710443904928059011092710756100720427204353098690484110992102990712710124045760854411275077050412910085076760841808784097510784004158103150753309548将X1、X2、X3变为行向量X1X1X2X2X3X3计算第一类的样本均值向量M1M11MEANX1M12MEANX2M13MEANX3计算第一类样本类内离散度矩阵S1S1ZEROS3,3FORI136S1S1M11X1IM12X2IM13X3I M11X1IM12X2IM13X3IENDW2的数据点坐标X4140101230120814116551374011829176321973924152258902847219539125001286412614200712183117909133221146617087159202935314664293131834918340250962719823148203532603012327214651567329414X5102980961109154149010820009399114051067808050128891460114334070911294213744093871226611833087980559205150099830912007126128331102912680071401244613392118080550314708114350767911288X6062101365605498067080893214342095080732405784149431091507644121591304911408093980619706603139281408406909084000538113729077310731913439081420958607379075480739306739086511369911458X4X4X5X5X6X6计算第二类的样本均值向量M2M21MEANX4M22MEANX5M23MEANX6计算第二类样本类内离散度矩阵S2S2ZEROS3,3FORI136S2S2M21X4IM22X5IM23X6I M21X4IM22X5IM23X6IEND总类内离散度矩阵SWSWZEROS3,3SWS1S2样本类间离散度矩阵SBSBZEROS3,3SBM1M2 M1M2最优解WWSW1M1M2 将W变为单位向量以方便计算投影WW/SQRTSUMW2计算一维Y空间中的各类样本均值M1及M2FORI136YIW

    展开全文
  • 对两类样本w1 w2进行Fisher准则判决分类,并画图。
  • 哈工大讲义PCA算法Fisher准则,主成分分析,哈工大研究生课程
  • 基于Fisher准则线性分类器设计实验报告
  • Fisher准则函数

    2018-01-10 19:02:21
    Fisher 线性分类器由R.A.Fisher在1936年提出,至今都有很大的研究意义,下面介绍Fisher分类器的Fisher准则函数   Fisher准则函数 在模式识别的分类算法中,大概可以分为两类,一种是基于贝叶斯理论的分类器,该...

    Fisher 线性分类器由R.A.Fisher在1936年提出,至今都有很大的研究意义,下面介绍Fisher分类器的Fisher准则函数

     

    Fisher准则函数

    在模式识别的分类算法中,大概可以分为两类,一种是基于贝叶斯理论的分类器,该类型分类器也称为参数判别方法,根据是基于贝叶斯理论的分类器必须根据所提供的样本数据求出先验概率和类概率密度函数的类型和参数;另一种是非参数判别方法,它倾向于由所提供样本数据直接求出在某一准则函数下的最优参数,这种方法必须由分类器设计者首先确定准则函数,并根据样本数据和该函数最优的原理求出函数的参数。基于贝叶斯理论的分类器对于设计者来说比较死板和原则,它必须知道类概率密度函数和先验概率才能估算出判别函数,但是实际上样本数据的类概率密度函数的类型和参数都是不知道的,这给参数判别方法带来了麻烦;而非参数方法的优点在于,当设计者设计好准则函数之后,便可用样本数据优化分类器参数,难点在于准则函数的设计,因此,两种方法各有千秋,互为补充!

     

    设样本d维特征空间中描述,则两类别问题中线性判别函数的一般形式可表示成

       

    ,其中WT表示垂直于超平面的法向量,在二维的情况下,便是判别直线的法向量,W0称为阈权值,它只决定超平面在空间上的上下或者左右平移的位置。

    在使用线性分类器时,样本的分类由其判别函数值决定,而每个样本的判别函数值是其各分量的线性加权和再加上一阈值w0。如果我们只考虑各分量的线性加权和,则它是各样本向量与向量W的向量点积。如果向量W的幅度为单位长度,则线性加权和又可看作各样本向量在向量W上的投影。显然样本集中向量投影的分布情况与所选择的W向量有关。如下图:

    图1

    红色跟蓝色分别为两类样本,显然,从分类的角度来看,W1要比W2要好,因此,Fisher准则函数的基本思路是向量W的方向选择应能使两类样本投影的均值之差尽可能大些,而使类内样本的离散程度尽可能小

     

    为了给出Fisher准则函数的数学定义,我们必须定义一些基本参量,如下:

    1 样本在d维特征空间的一些描述量。

      (1) 各类样本均值向量mi

     

    (2) 样本类内离散度矩阵Si与总类内离散度矩阵Sw

    注释:类内离散矩阵Si在形式上与协方差矩阵很相似,但协方差矩阵是一种期望值,而类内离散矩阵只是表示有限个样本在空间分布的离散程度

    2 在一维Y空间

      (1) 各类样本均值

          (2) 样本类内离散度和总类内离散度

    在定义了上述一系列描述量后,可以用这些量给出Fisher准则的函数形式。根据Fisher选择投影方向W的原则,即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开,类内样本投影尽可能密集的要求,用以评价投影方向W的函数为:

    显然,准则函数的函数值跟总类内离散度成反比,跟样本差值的均方成正比,也就说,两类样本的均值相差越大,函数值越大,反之,则越小,类内离散度越小,函数值越大,反之则越小。同一类的样本,离散度应该要小。


    各最优参数的确定

           前面已提到,在非参数判别分类方法中,首先必须确定准则函数(假设样本是线性可分的),然后根据样本集求出使得准则函数达到极值的分类器参数,对于线性分类器,其典型形式为:,因此需要确定WT和wo两个分类器参数。


    2、分类器参数的确定

          关于Fisher的上一篇文章提到,其准则函数为 

                                                               
          最佳分类器参数的确定实际上就是求取上式达到极值的W, 因此令拉格朗日乘法算子为:

                                                                                                                                
          上式对W求导得:
          
                                                               

           整理后得:

                                                               
           由上式见,这是典型的求取特征值和特征向量的问题。以下进行数学简化:
        
                                                               

          因此得到:
        
                                                               
           实际上,我们只关心W的方向,其大小对分类结果没有任何影响,从上式可以看到,(m1 - m2)为两类样本的均值向量,从两类样本被分的最远的效果来看,那么与向量(m1 - m2)平行的向量投影将两类分的最开。但是如从使类间分得较开,同时又使类内密集程度较高这样一个综合指标来看,则需根据两类样本的分布离散程度对投影方向作相应的调整,这就体现在对向量(m1 - m2)按作一线性变换上,其中Sw为总类内离散度。


    3、设计分类器的最后一步------确定W0

    3.1、知道先验概率P(W1)和P(W2)
         若知道先验概率和各样本数量,可以根据以下公式计算W0
                                                
                     

                                           
             3.2、若未知先验概率,可以按照下式计算:

                                           
    展开全文
  • 基于Fisher准则的多指静脉融合
  • 针对当前的算法无法满足具有周期性图案织物疵点分类检测,鉴于此,提出基于Fisher准则的深层卷积神经网络织物疵点检测算法.首先,利用深度可分离卷积设计小型的深层卷积神经网络(DCNN);其次,对DCNN网络的Softmax...
  • 基于局部Fisher准则判别投影的人脸识别算法.pdf
  • 针对支持向量机(SVM) 核参数选择困难的问题, 提出一种基于Fisher 准则和最大熵原理的SVM核参数优选方法. 首先, 从SVM分类器原理出发, 提出SVM核参数优劣的衡量标准; 然后, 根据此标准利用Fisher 准则来优选SVM核参数...
  • LBP特征和改进Fisher准则的人脸识别.pdf
  • 基于Fisher准则和特征聚类的特征选择.pdf
  • 基于模糊Fisher准则的半模糊聚类算法.pdf
  • 利用加权核Fisher准则,给出一种朴素贝叶斯分类器的改进算法。该算法通过寻找使类与类最大分离的最优投影矩阵,将样本数据进行投影变换,再利用朴素贝叶斯分类器对新样本进行分类。将该方法应用于双酚A生产过程在线监测...
  • 目前线性鉴别分析以Fisher准则或是逐对类加权Fisher准则为依据,但前者不能限制离群类,后者计算量大,鉴于此,提出一种改进Fisher准则用于线性鉴别分析。回顾了Fisher准则和逐对类加权Fisher准则,指出其中问题产生...
  • 基于改进Fisher准则的深度卷积神经网络识别算法
  • 基于模糊Fisher准则的自适应降维模糊聚类算法.pdf
  • 准则 采用一种分类形式后,就要采用准则来衡量分类的...分类器设计准则FIsher准则、感知机准则、最小二乘(最小均方误差)准则 Fisher准则 Fisher线性判别分析LDA(LinearityDistinctionAnalysis)基本思想:对...

    准则

    采用一种分类形式后,就要采用准则来衡量分类的效果,最好的结果一般出现在准则函数的极值点上,因此将分类器的设计问题转化为求准则函数极值问题,即求准则函数的参数,如线性分类器中的权值向量。

    分类器设计准则:FIsher准则、感知机准则、最小二乘(最小均方误差)准则

    Fisher准则

    Fisher线性判别分析LDA(Linearity Distinction Analysis)
    基本思想:对于两个类别线性分类的问题,选择合适的阈值,使得Fisher准则函数达到极值的向量作为最佳投影方向,与投影方向垂直的超平面就是两类的分类面,使得样本在该方向上投影后,达到最大的类间离散度和最小的类内离散度。 
    Fisher线性判别并不对样本的分布进行任何假设,但在很多情况下,当样本维数比较高且样本数也比较多时,投影到一维空间后样本接近正态分布,这时可以在一维空间中用样本拟合正态分布,用得到的参数来确定分类阈值。 

    。。类间离差平方和最大,类内离差平方和最小的投影方向。准则函数:组间离差平方和/组内离差平方和;准则:超过阈值?

    感知机准则

    基本思想:对于线性判别函数,当模式的维数已知时,判别函数的形式实际上就已经确定下来,线性判别的过程即是确定权向量?   。感知机是一种神经网络模型,其特点是随意确定判别函数初始值,在对样本分类训练过程中,针对分类错误的样本不断进行权值修正,逐步迭代直至最终分类符合预定标准,从而确定权向量值。可以证明感知机是一种收敛算法,只要模式类别是线性可分的,就可以在有限的迭代步数里求出权向量的解。

    优点:简单、便于实现。 
    缺点:结果不唯一,在线性不可分情况下不收敛。

    。。给定初始权值向量,通过样本的训练分类过程逐渐修正权值直到最终确定。准则函数:错分样本数,准则:错分样本数为0

    上述两个准则的区别和联系

    Fisher线性判别是把线性分类器的设计分为两步,一是确定最优方向,二是在这个方向上确定分类阈值;感知机则是通过不断迭代直接得到完整的线性判别函数。

    Fisher线性判别根据阈值选择投影方向达到预期分类效果,而感知机算法因为不是收敛算法,可能不能得到很好的分类结果。

    最小二乘准则

    基于最小二乘法求线性组合的权值

     对于异常值非常敏感。

    转载于:https://www.cnblogs.com/z-sm/p/5109729.html

    展开全文
  • 最优特征选择的l_21范数正则化Fisher准则
  • Fisher准则一维聚类

    2019-09-26 20:41:45
    在做FAQ系统时,用户输入一个查询之后,返回若干个打好分数的文档。对于这些文档,有些是应该输出的,有些是不应该输出的。那么应该在什么地方截断呢? 这个问题其实是一个聚类问题,在一...fisher准则目标函数为fis...

    在做FAQ系统时,用户输入一个查询之后,返回若干个打好分数的文档。对于这些文档,有些是应该输出的,有些是不应该输出的。那么应该在什么地方截断呢?

    这个问题其实是一个聚类问题,在一维空间中把若干个点聚成两类。
    聚类就有标准:类内距离尽量小、类间距离尽量大。
    由此想到Fisher准则。

    那么给定一个浮点数组,寻找这个浮点数组的fisher点,应该如何实现呢?
    fisher准则目标函数为fisher=(s1+s2)/(m1-m2)^2
    可以用O(n)复杂度实现。

    但是有没有更快速的方法呢?
    从左往右扫描,如果fisher准则函数是一个类似二次函数的形状,那么就可以利用“三分法”求极值的策略将复杂度降为O(logN)。其实是不可能的,因为O(n)的方法优势在于快速计算目标函数fisher,如果使用三分法就无法O(1)复杂度计算目标函数fisher,而是O(n)的复杂度计算目标函数。这样其实复杂度反而提高了。所以这个问题到这里就可以停止了。但是“fisher曲线”到底是不是类似二次函数的呢?

    为了验证是否满足“类似二次函数”的特性,我随机出一堆数字,求fisher曲线。
    实验结果:并不满足“类似二次函数”,但是大概率地满足此条件。

    本实验一共测试了10000组长度在3~1000之间的数组。
    下面的0,1,2...表示曲线斜率方向变化次数,右面数字表示出现次数。
    可以发现,那些 不满足“类似二次函数”的图像看上去也都近似“V”形。

    0: 7668 
    1: 1732
    2: 416
    3: 129
    4: 34
    5: 17
    6: 3
    7: 1

    实验代码如下:

    import numpy as np
    import tqdm
    
    def getfisher(a):
        s = np.sum(a)
        ss = np.sum(a * a)
        now_s = 0
        now_ss = 0
        ret = []
        for i in range(len(a) - 1):
            now_s += a[i]
            now_ss += a[i] ** 2
            l_s = now_s / (i + 1)
            l_ss = now_ss / (i + 1)
            r_s = (s - now_s) / (len(a) - 1 - i)
            r_ss = (ss - now_ss) / (len(a) - 1 - i)
            fisher = (l_ss + r_ss) / (l_s - r_s) ** 2
            ret.append(fisher)
        return ret
    
    
    def checkright(a):
        dir = 0
        cnt = 0
        for i in range(1, len(a)):
            if dir != np.sign(a[i] - a[i - 1]) and dir != 0 and np.abs(a[i]-a[i-1])>1e-2:
                cnt += 1
            dir = np.sign(a[i] - a[i - 1])
        return cnt
    
    
    def main():
        c = dict()
        for i in tqdm.tqdm(range(10000)):
            x = np.sort(np.random.rand(np.random.randint(3, 1000)))
            f = getfisher(x)
            # plt.plot(x[:-1], f)
            cnt = checkright(f)
            if cnt not in c:
                c[cnt] = 0
            c[cnt] += 1
            # plt.show()
        print(c)
    
    
    if __name__ == '__main__':
        main()
    

    转载于:https://www.cnblogs.com/weiyinfu/p/8343206.html

    展开全文
  • 基于混淆矩阵和Fisher准则构造层次化分类器.pdf
  • 基于改进Fisher准则的深度卷积神经网络识别算法.pdf
  • 基于Fisher准则的深层卷积神经网络织物疵点检测.pdf
  • 结合Gabor特征和自适应加权Fisher准则的人脸识别.pdf
  • 基于Fisher准则改进线性判别回归分类的人脸识别.pdf
  • 基于Fisher准则字典学习的压缩感知人脸识别算法.pdf
  • 改进的Fisher准则及其在语音聚类中的应用.pdf

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,945
精华内容 778
关键字:

fisher准则