精华内容
下载资源
问答
  • 线性判别分析分类器和二次判别分析分类器包括代码、纸张、电源点
  • lda 线性判别分析 分类器,基于不同镜头的电影分类
  • 常用线性判别分类器总结。
    展开全文
  • 本文主要介绍广义线性判别函数分类器、多层感知器网络、支持向量机等非线性分类器
    展开全文
  • 线性判别分析(Fisher分类器

    千次阅读 2019-03-27 09:59:40
    线性判别分析的思想: 1.训练时:设法将训练样本投影到一条直线上,使得同类样本的投影点尽可能地接近、异类样本的投影点尽可能地远离。要学习的就是这样一条直线。(在二维中是一条直线,在三维中是一个平面,多维...

    线性判别分析的思想:
    1.训练时:设法将训练样本投影到一条直线上,使得同类样本的投影点尽可能地接近、异类样本的投影点尽可能地远离。要学习的就是这样一条直线。(在二维中是一条直线,在三维中是一个平面,多维中,以此类推·)
    2.预测时:将待预测样本投影到学到的直线上,根据他的投影点的位置来判断他的类别
    考虑二分类问题,给定数据集T={(x1,y1),(x2,y2),…(xn,yn)}(x1,x2…xn为向量),xi属于R,yi属于{0,1},i =1,2,3…N

    1.T0表示类别为0的样例集合,这些样例的均值向量为u0={u1,u2,u3...un},这些样例的特征之间的协方差矩阵为X0.(矩阵大小为n x n)
    2.T0表示类别为0的样例集合,这些样例的均值向量为u1={u1,u2,u3...un},这些样例的特征之间的协方差矩阵为X1.(矩阵大小为n x n)
    

    假定直线为y=wx(这里省略了常量b,因为考察的是样本点在直线上的投影,总可以平行移动直线到原点而保持投影不变,此时b=0),其中w=(w1,w2,w3…w4)
    x=(x1,x2,x3…x4)
    图1.1

    两类样本的中心在直线上的投影分别为w u0和w u1 (要求两者差值的绝对值尽可能的大才能满足异类样品中心点尽可能的远)
    两类样品投影的方差分别为 w(T) X0 w 和w(T)X1 w(要求两者之和尽可能的小才能满足同类样品尽可能的接近)

    所以得到最大化目标:

    通过数学公式将其化简为:w=S(-1)(u0-u1) (S为X0+X1,两个样本类的协方差矩阵和)

    这是二类分类问题

    将它推广到多分类中任务中:假定存在M个类,属于第i类的样本集合为Ti,Ti类中的样例个数为mi,设N为样本的总数。设Ti表示类别i,i=1,2,3…M的样例的集合,这些样例的均值向量为:
    ui=(ui 1,ui 2,…ui n)
    这些样例的特征之间的协方差矩阵为Xi(矩阵的大小为n x n)。定义u=(u1,u2,u3…u n)是所有案例的均值向量。
    要使得同类样例的投影点尽可能的接近,则可以使同类样例投影点的方差尽可能的小。(X=X1+X2+X3…Xm)
    要使异类样例的投影点尽可能地远,则可以使异类样例中心尽可能地远,由于这里又不止两个中心点,所以不能简单地套用二类分类的做法,这里用每一类样本集和中心点的总距的中心点的距离作为度量。考虑到每一个样本集的大小可能不同(密度分布不均),故我们对这个距离加以权重,因此定义间内散度矩阵Sb=(m1(u1-u)(u1-u)(T)x…m (u m-u)(u m-u)(T))

    设W是投影矩阵,经过推导可得到最大化目标:
    J=(W(T) Sb W) / W(T) X W
    当J取最大时,

    代码

    from sklearn import datasets, cross_validation,discriminant_analysis

    ###############################################################
    #用莺尾花数据集
    def load_data():
    iris=datasets.load_iris()
    return cross_validation.train_test_split(iris.data,iris.target,test_size=0.25,random_state=0,stratify=iris.target)
    #返回为: 一个元组,依次为:训练样本集、测试样本集、训练样本的标记、测试样本的标记

    ##############################################################
    def test_Linear(*data):
    x_train,x_test,y_train,y_test=data
    lda=discriminant_analysis.LinearDiscriminantAnalysis()
    lda.fit(x_train,y_train)
    print(‘Coefficients:%s, intercept %s’%(lda.coef_,lda.intercept_))#输出权重向量和b
    print(‘Score: %.2f’ % lda.score(x_test, y_test))#测试集
    print(‘Score: %.2f’ % lda.score(x_train, y_train))#训练集

    #################################################################
    x_train,x_test,y_train,y_test=load_data()
    test_Linear(x_train,x_test,y_train,y_test)

    展开全文
  • 文章目录一、线性分类的数学基础与应用1、Fisher基本介绍2、Fisher判别思想3、举例二、Fisher判别的推导(python)1、代码2、代码结果三、Fisher分类器1、定义2、scikit-learn中LDA的函数的代码测试3、监督降维技术...
  • 线性判别分析LDA

    2018-10-10 20:37:12
    在这里,我们将了解到线性判别分析是属于一种线性分类器。 线性分类器是最简单的分类器线性判别函数的一般表达式为g(x)=wT+w0g(x)=w^T+w_0g(x)=wT+w0​ 下面我们开始学习最直观的Fisher线性判别分析(linear ...

    线性判别分析LDA

    前言:我在我的第一家公司分析宏基因组数据时,碰到过LDA,不过当时没有去搞明白,今天有机会再来学习它。在这里,我们将了解到线性判别分析是属于一种线性分类器。
    线性分类器是最简单的分类器。线性判别函数的一般表达式为 g ( x ) = w T + w 0 g(x)=w^T+w_0 g(x)=wT+w0
    在这里插入图片描述

    下面我们开始学习最直观的Fisher线性判别分析(linear discriminant analysis, LDA).
    两类的线性判别问题可以看作是把所有样本都投影到一个方向上,然后在这个一维空间中确定一个分类的阈值。过这个阈值点且与投影方向垂直的超平面就是两类的分界面。
    关键问题在于如何确定投影方向。Fisher线性判别的思想是,选择投影方向,使投影后两类相隔尽可能远,而同时每一类内部的样本又尽可能聚焦。这一目标可以表示成如下的准则
    m a x J F ( w ) = S b S w = ( m 1 − m 2 ) 2 S 1 2 + S 2 2 max J_F(w)=\frac{S_b}{S_w}=\frac{(m_1-m_2)^2}{S_1^2+S_2^2} maxJF(w)=SwSb=S12+S22(m1m2)2
    这就是Fisher准则函数(Fisher’s Criterion)
    通过一系列复杂的数学运算,可以得到Fisher判别准则下的最优投影方向:
    $$ w ∗ = S w − 1 ( m 1 − m 2 ) w^*=S_w^{-1}(m_1-m_2) w=Sw1(m1m2)
    需要注意的是,Fisher判别函数最优的解本身只是给出了一个投影方向,并没有给出我们所要的分界面。要得到分界面,需要在投影后的方向(一维空间)上确定一个分类阈值 w 0 w_0 w0,并采取决策规则,若 g ( x ) = w T + w 0 > 0 , 则 x ∈ w 1 g(x)=w^T+w_0>0, 则x∈w_1 g(x)=wT+w0>0,xw1
    如果不考虑先验概率的不同,则可以采用阈值 w 0 = − m w_0=-m w0=m m m m是所有样本在投影后的均值。

    展开全文
  • 线性判别分析

    2015-05-15 13:06:05
    matlab程序,用于对提取的各种特征值进行线性判别分析,进而分析分类器用于分类的有效性
  • fisher线性判别分类器的设计实验源码
  • 线性判别器实现数据分类,包括分类结果可视化。
  • 本博文为Fisher分类器的学习笔记~本博文主要参考书籍为:《Python大战机器学习》Fisher分类器也叫Fisher线性判别(Fisher Linear Discriminant),或称为线性判别分析(Linear Discriminant Analysis,LDA)。...
  • Fisher线性判别分类器 本实验旨在让同学进一步了解分类器的设计概念,理解并掌握用Fisher准则函数确定线性决策面方法的原理及方法,并用于实际的数据分类。
  • 线性判别分析(一)——LDA介绍 一文中,我们介绍了LDA的基本思想、算法,但其实严格来讲博客中介绍的都是FDA。本文我们就来探究一下LDA的真面目。Bayes准则关于贝叶斯最优分类器的介绍请参考周志华的《机器学习》...
  • 另外,对于K近邻分类器中不同的K值,最大散度距离判别分析的识别率偏差波动要比正则线性判别分析的波动小。因此,在处理识别任务的实际应用中,对于一个稳定的识别方法,应该考虑识别率偏差波动。
  • LDA-线性判别分析

    2018-05-15 20:26:21
    https://blog.csdn.net/daunxx/article/details/51881956https://blog.csdn.net/z962013489/article/details/79918758  LDA推广到多分类任务上 用来降维线性判别分析Linear Discriminant Analysis线性分类器判别式...
  • 线性判别分析(Linear Discriminant Analysis)

    万次阅读 多人点赞 2016-07-11 16:34:37
    从贝叶斯公式出发,得到了线性判别分析的公式,这里从另外一个角度来看线性判别分析,也就是常说的Fisher判别式。其实Fisher判别式就是线性判别分析(LDA),只是在讨论Fisher判别式的时候,更侧重于LDA的数据降维的...
  • 线性模型(二)Fisher线性判别分析

    千次阅读 2019-05-11 17:47:57
    线性判别分析,Linear Discriminant Analysis,一种用于二分类的很经典的线性学习方法,1936年由Fisher 提出,so也称为Fisher判别分析。它和PCA一样,也是一种降维方法。 英国大统计学家Fisher,“a genius who ...
  • 文章目录线性判别1 线性判别与非线性判别2 样本集的线性可分性3 非线性判别问题转化成线性判别问题4 多分类线性判别4.1 绝对可分方式4.2 两两可分方式4.3 最大值可分方式3 线性判别函数的几何意义 1 线性判别与非...
  • 针对我博客《线性分类器之Fisher线性判别-MATLAB实现》的数据集,为了方便大家使用代码特提交到这上面,供大家下载和使用
  • 概率线性判别分析 论文引文 免责声明 通过经验贝叶斯估计参数。 该代码最初是为的人工智能(XAI)项目,因此它会将对于简单分类问题不必要的参数保留在内存中。 谢谢! 特别感谢和推动和实现了相同的区别和pip...
  • 线性判别分析(LDA)特别受欢迎,因为它既是分类器又是降维技术。二次判别分析(QDA)是LDA的变体,允许数据的非线性分离。最后,正则化判别分析(RDA)是LDA和QDA之间的折衷。 本文主要关注LDA,并探讨其在理论和...
  • 使用matlab实现的线性判别分析代码,输入、输出、关键代码注释以及示例都有详细的说明。代码正确性已经得到验证!
  • 主成分分析(PCA)和线性判别分析(LDA)原理简介

    万次阅读 多人点赞 2018-02-04 21:58:53
    线性判别分析LDA与主成分分析PCA 3). PCA(主成成分分析)和LDA(线性判别分析)详解-共性和区别 4).什么时候使用PCA和LDA? 5).PCA的数学原理 6).Dimensionality Reduction——LDA线性判别分析原理篇 7).主成分...
  • Matlab线性判别分析.zip

    2019-12-05 22:34:06
    Matlab代码 LDA分析,可以用作特征提取或者分类器
  • 线性分类器之Fisher线性判别

    万次阅读 2016-10-22 15:59:03
    在前文《贝叶斯决策理论》中已经提到,很多情况...前文已经提到,正态分布情况下,贝叶斯决策的最优分类面是线性的或者是二次函数形式的,本文则着重讨论线性情况下的一类判别准则——Fisher判别准则。为了避免陷入复杂
  • 线性判别分析用到方差分析和拉个朗日的相关知识,在介绍线性判别分析之前,先介绍方差分析和拉格朗日的相关知识,然后介绍线性判别分析(LDA的推导过程)、最后利用马氏距离计算样本与两类的距离,对数据进行分类 ...
  • 线性判别分析(LDA)特别受欢迎,因为它既是分类器又是降维技术。二次判别分析(QDA)是LDA的变体,允许数据的非线性分离。最后,正则化判别分析(RDA)是LDA和QDA之间的折衷。 本文主要关注LDA,并探讨其在理论和...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 20,040
精华内容 8,016
关键字:

线性判别分析分类器