精华内容
下载资源
问答
  • 分类器

    万次阅读 多人点赞 2018-09-21 21:23:10
    分类器的作用:常规任务是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class ...

    分类器的作用:常规任务是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class classification),比如识别手写数字,它需要10个分类,同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有softmax。 

    分类算法:划分为了两类

    1.基于概率密度的方法和基于判别函数的方法。

    • 基于概率密度的分类算法通常借助于贝叶斯理论体系,采用潜在的类条件概率密度函数的知识进行分类; 在基于概率密度的分类算法中,有著名的贝叶斯估计法、最大似然估计,这些算法属于有参估计,需要预先假设类别的分布模型,然后使用训练数据来调整概率密度中的各个参数。另外,如 Parzen窗、Kn邻近等方法属于无参估计,此类方法可从训练样本中直接估计出概率密度。 基于判别函数的分类方法使用训练数据估计分类边界完成分类,无需计算概率密度函数。
    • 基于判别函数的方法则假设分类规则是由某种形式的判别函数表示,而训练样本可用来表示计算函数中的参数,并利用该判别函数直接对测试数据进行分类。此类分类器中,有著名的感知器方法、最小平方误差法、SVM法、神经网络方法以及径向基(RBF)方法等。

    2.根据监督方式划分分类算法,分类学习问题可分为三大类:有监督分类、半监督分类和无监督分类。

    • 有监督分类是指用来训练分类器的所有样本都经过了人工或其他方式的标注,有很多著名的分类器算法都属于有监督的学习方式,如AdaBoost[51],SVM,神经网络算法以及感知器算法。
    • 无监督分类是指所有的样本均没有经过标注,分类算法需利用样本自身信息完成分类学习任务,这种方法通常被称为聚类,常用的聚类算法包括期望最大化(EM)算法和模糊C均值聚类算法等。
    • 半监督分类指仅有一部分训练样本具有类标号,分类算法需要同时利用有标号样本和无标号样本学习分类,使用两种样本训练的结果比仅使用有标注的样本训练的效果更好。这类算法通常由有监督学习算法改进而成,如SemiBoost、流形正则化、半监督SVM等。

    Softmax分类

    Softmax 函数的定义如下所示:

    其中,Vi 是分类器前级输出单元的输出。i 表示类别索引,总的类别个数为 C。Si 表示的是当前元素的指数与所有元素指数和的比值。Softmax 将多分类的输出数值转化为相对概率,更容易理解和比较。

    使用softmax激励函数作为输出层的多层感知机,卷积层和池化层每个的输出代表高级特征,目的是用这些特征进行分类。加入全连接层也是学习特征之间非线性组合的有效办法。卷积层和池化层提取出来的特征很好,但是如果考虑这些特征之间的组合,就更好了。

    Softmax函数把任意实值的向量转变成元素取之0到1且和为1的向量。将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类。


     

    logistic分类器

    以Bernoulli(伯努利) 分布为模型建模的,顾名思义,逻辑分类,是一种二分类法,能将数据分成0和1两类。logistic分类的流程比较简单,主要有线性求和,sigmoid函数激活,计算误差,修正参数这4个步骤。前两部用于判断,后两步用于修正。

    线性求和以及sigmoid函数

    假设有一个n维的输入列向量 x,也有一个n维的参数列向量h, 还有一个偏置量b, 那么就可以线性求和得到z

    此时因为z的值域是[−∞,+∞] ,是无法根据z来判断x 到底是属于0还是1的。因此我们需要一个函数,来将z的值映射到[0,1]之间, 这就是激活函数。激活函数有很多种,这里的激活函数是sigmoid函数。

    sigmoid函数形状为

    可以看到它是介于0~1之间。那么在判断的时候,首先对之前得到的z代入sigmoid函数

    当 a 大于0.5的时候,我们判定x应属于1类,如果小于0.5,则属于0类。这样,就完成了判断的工作 。

    详细过程:https://www.cnblogs.com/yinheyi/p/6131262.html

    误差计算以及参数修正

    上面完成的判断过程中用到了参数向量h和偏置量b。 可以说,h和b的值直接关系到logistic判断的准确性。那么这两组参数是如何获得的呢?这就涉及到了参数的修正。在最开始的时候,h中的值是随机的,而b的值是0. 我们通过不断的训练来使得h和b能够尽可能的达到一个较优的值。

    那么如何训练呢?假设我们期望输入x的判定是y,而实际得到的判定值是a,那么我们定义一个损失函数C(a,y),通过修正h和b的值来使得C最小化,这是一个优化问题。在凸优化问题中,可以通过

    来直接算得h和b的最优解。然而在某些情况下,例如数据规模很大,或者非凸优化问题中,则不能这么做,而是用迭代的方法来得到局部最优解。

    其中 η 表示学习率。在这里,损失函数定为平方损失函数,即

    那么可以得到

    这样,就能够得到每次迭代的参数更新公式为

    将logistic扩展到多分类

    从之前可以看出,普通的logistic只能进行二分类,即只能够分为0或者1。那么如果这些样本属于多个类该怎么办呢?人们想了很多办法,例如一对多法,依次把某个类别的样本归为一类,其他剩余的样本归为另一类,这样k个类需要构建k个分类器。还有一对一法,在任意两类样本之间设计一个分类器,k个类需要k(k-1)/2个分类器。

    在这里,我们将输出由一个值更改为一个向量。例如有3个类,那么输出就是一个长度为3 的列向量,对应项的值为1,其他为0。即

    分别表示第0,1,2个类。 也可以看成是原来若干个logistic分类器组合在一起。对应的某个分类器只对该类输出1,其他情况都输出0.从这一点上来讲,这个做法有点类似于一对多法。此时,由于输出从一个数成为一个向量,之前的公式都要加以修改。首先,原来的y,a,z,b变成了列向量, 向量hh变成了矩阵W。这样,判断部分的公式变为

    此时的 σ 函数表示对向量中的每一个元素单独做运算。即

    得到的a向量中,其最大值所在的位置索引即为判断出的分类。 参数修正部分的公式也是类似的,

    注意有些向量之间是进行点乘的。 

    Boosting

    顾名思义,是提升的意思。弱分类器转化为强分类器---原理即三个臭皮匠,赛过诸葛亮一样。把很多分类准确率很低的分类器通过更新对数据的权重,集成起来形成一个分类效果好的分类器。

    它是一种框架算法,先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本分布进行调整,使得先前基学习器做错的训练样本在后续受到更多的关注,然后基于调整后的样本分布来训练下一个基学习器;如此重复进行,直至基学习器数目达到事先指定的值T,最终将这T个基学习器进行加权结合。

    一般来说,找到弱学习算法要相对容易一些,然后通过反复学习得到一系列弱分类器,组合这些弱分类器得到一个强分类器。Boosting算法要涉及到两个部分,加法模型和前向分步算法。加法模型就是说强分类器由一系列弱分类器线性相加而成。一般组合形式如下:

    其中,h(x;am)是一个个的弱分类器,am是弱分类器学习到的最优参数,βm是弱学习在强分类器中所占比重,P是所有am和βm的组合,这些弱分类器线性相加组成强分类器。

    前向分步就是说在训练过程中,下一轮迭代产生的分类器是在上一轮的基础上训练得来的。也就是可以写成这样的形式:

    由于采用的损失函数不同,Boosting算法有很多不同的类型,其中比较经典的有AdaBoost,其损失函数为指数损失的。

    Adaboost

    Boosting有一个重大缺陷,即该算法要求事先知道弱分类算法分类正确率的下限,这在实际问题中很难做到。

    Adaptive Boosting,自适应增强。它的自适应在于:前一个基本分类器分错的样本会得到加强,加权后的全体样本再次被用来训练下一个基本分类器。同时,在每一轮中加入一个新的弱分类器,直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

    Adaboost 迭代算法分为3步:

    1. 初始化训练数据的权值分布。如果有N个样本,则每个训练样本最开始时都被赋予相同的权值:1/N;
    2. 训练弱分类器。具体训练过程中,如果某个样本点已经被准确地分类,那么在构造下一个训练集中,它的权值就被降低;相反,如果某个样本点没有被准确地分类,那么它的权值就得到提高。然后权值更新过的样本集被用于训练下一个分类器,整个训练过程如此迭代地进行下去;
    3. 将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后,加大分类误差率小的弱分类器的权重,使其在最终的分类函数中起着较大的决定作用,而降低分类误差率大的弱分类器的权重,使其在最终的分类函数中起着较小的决定作用。换言之,误差率低的弱分类器在最终分类器中占的权重较大,否则较小。

    算法流程

    给定一个训练数据集T={(x1,y1), (x2,y2)…(xN,yN)},其中实例x \in \mathcal{X},而实例空间\mathcal{X} \subset \mathbb{R}^n,yi属于标记集合{-1,+1},Adaboost的目的就是从训练数据中学习一系列弱分类器或基本分类器,然后将这些弱分类器组合成一个强分类器。

    算法流程如下:

    1.初始化训练数据的权值分布。每一个训练样本最开始时都被赋予相同的权值:1/N。

    2.进行多轮迭代,用m = 1,2, ..., M表示迭代的第多少轮

    a.使用具有权值分布Dm的训练数据集学习,得到基本分类器(选取让误差率最低的阈值来设计基本分类器):

      b.计算Gm(x)在训练数据集上的分类误差率

       由上述式子可知,Gm(x)在训练数据集上的误差率em就是被Gm(x)误分类样本的权值之和。

      c.计算Gm(x)的系数,am表示Gm(x)在最终分类器中的重要程度(目的:得到基本分类器在最终分类器中所占的权重):        

       由上述式子可知,em≤1/2时,am≥0,am随em减小而增大,分类误差率越小的基本分类器在最终分类器中的作用越大。

      d.更新训练数据集的权值分布(目的:得到样本的新的权值分布),用于下一轮迭代。

                      

      使得被基本分类器Gm(x)误分类样本的权值增大,而被正确分类样本的权值减小,重点关注或聚焦于那些较难分的样本上。

        其中,Zm是规范化因子,使得Dm+1成为一个概率分布:

                                                              

    3.组合各个弱分类器

    从而得到最终分类器,如下: 

    实例

    有如下的训练样本,我们需要构建强分类器对其进行分类。x是特征,y是标签。

    令权值分布D1=(w1,1,w1,2,…,w1,10)

    并假设一开始的权值分布是均匀分布:w1,i=0.1,i=1,2,…,10w1,i=0.1,i=1,2,…,10

    现在开始训练第一个弱分类器。发现阈值取2.5时分类误差率最低,得到弱分类器为:

    当然,也可用别的弱分类器,只要误差率最低即可。这里为了方便,用了分段函数。得到了分类误差率e1=0.3。

    第二步计算G1(x)在强分类器中的系数

    第三步更新样本的权值分布,用于下一轮迭代训练。由公式:

    得到新的权值分布,从各0.1变成了:

    可以看出,被分类正确的样本权值减小了,被错误分类的样本权值提高了。

    第四步得到第一轮迭代的强分类器:

    以此类推,经过第二轮……第N轮,迭代多次直至得到最终的强分类器。迭代范围可以自己定义,比如限定收敛阈值,分类误差率小于某一个值就停止迭代,比如限定迭代次数,迭代1000次停止。这里数据简单,在第3轮迭代时,得到强分类器:

    的分类误差率为0,结束迭代。

    F(x)=sign(F3(x))就是最终的强分类器。

    SVM

    借鉴博客:https://blog.csdn.net/mm_bit/article/details/46988925

    • 线性核SVM:一般应用于多分类,分类的结果(如3分类)最后会给出(约等于)1、2、3的值代表第1、2、3类
    • 非线性核SVM:一般应用于二分类问题上

    support vector machines,支持向量机,是一个二分类的分类模型(经改造后也可用于多分类,但比较复杂)。分类的思想是,给定给一个包含正例和反例的样本集合,其目的是寻找一个超平面来对样本根据正例和反例进行分割,寻找一个超平面,使得离超平面比较近的点能有更大的间距。也就是我们不考虑所有的点都必须远离超平面,我们关心求得的超平面能够让所有点中离它最近的点具有最大间距。

    优点:

    在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。

    如下面3个图,分类图1中的两类球,很简单,用一根棍子即可;但图2中一条直线貌似不能完成分类的任务,可以想象就像武侠片的大侠一样,拍下桌子,球飞到空中。然后,大侠抓起一张纸,插到了两种球的中间,如图2右边的部分;从直观的角度看这些球像是被一条曲线分开了,如图3。其中这些球叫做【data】,棍子叫做【classifier】, 最大间隙trick叫做【optimization】, 拍桌子叫做【kernelling】,那张纸叫做【hyperplane】。

     

    如果一个线性函数能够将样本完全正确的分开,就称这些数据是线性可分的,否则称为非线性可分的。线性函数在一维空间里就是一个点,在二维空间里就是一条直线,三维空间里就是一个平面,如果不关注空间的维数,这种线性函数叫做超平面(Hyper Plane)。在样本空间中,划分超平面可通过如下线性方程来描述:

                                                                  

    假设它已经完成了对样本的分隔,且两种样本的标签分别是{+1,-1},那么对于一个分类器来说,g(x)>0和个g(x)<0就可以分别代表两个不同的类别,+1和-1。

    但光是分开是不够的,SVM的核心思想是尽最大努力使分开的两个类别有最大间隔,这样才使得分隔具有更高的可信度。而且对于未知的新样本才有很好的分类预测能力(在机器学习中叫泛化能力),SVM让间隔最大的办法是:让离分隔面最近的数据点具有最大的距离。为了描述离分隔超平面最近的数据点,需要找到两个和这个超平面平行和距离相等的超平面:

                                                        H1: y = wTx + b=+1 和 H2: y = wTx + b=-1

    在这两个超平面上的样本点也就是理论上离分隔超平面最近的点,是它们的存在决定了H1和H2的位置,支撑起了分界线,它们就是所谓的支持向量,这就是支持向量机的由来。

    由两个超平面就可以定义上面提到的间隔(margin)了,二维情况下 ax+by=c1和ax+by=c两条平行线的距离公式为:

    可以推出H1和H2两个超平面的间隔为2/||w||,即现在的目的是要最大化这个间隔。所以support vector machine又叫Maximum margin hyper plane classifier(最大间隔超平面分类器),等价于最小化||w||,为了之后的求导和计算方便,进一步等价于最小化  

    假设超平面能将样本正确分类,则可令:

     

    两个式子综合一下有:

     

    这就是目标函数的约束条件。现在这个问题就变成了一个最优化问题:

    而且这是一个凸二次规划问题,一般的解决方法有两种1是用现成的优化工具包直接求解,2是使用Lagrange Duality找到一种更有效的方法求解。

     实例

    svm的输入是一组向量以及每个向量对应的分类:
    label,一般是-1或1,表示种类;
    index:value, 向量值,如 1:0.78, 2:1, 3:-0.52, 4:-0.35, 5:0.56, 一般用一个一维数组表示
    数据准备成上述格式,随机分成2份,一份用来训练模型,一份用来测试模型的准确性,以便根据测试结果调整训练参数。在线性不可分的情况下,使用RBF核效果比较好,现在很多软件可以自动完成这个对比、选择过程。

    比如用svm进行垃圾邮件识别,大概步骤如下:
    对邮件进行打标,垃圾邮件标为1,非垃圾邮件标为-1。对邮件内容进行分词,对每个词计算特征权重,然后通过归一化转化成-1到1之间的值,选择一个svm实现lib或软件,将准备好的这些向量和label带入训练,调整参数得到效果满足要求的模型。

     

    展开全文
  • 分类器设计之线性分类器和线性SVM(Matlab代码 具休请参考本人博客: http://blog.csdn.net/ranchlai/article/details/10303031
  • 贝叶斯分类器

    万次阅读 多人点赞 2018-07-27 22:22:41
    贝叶斯分类器是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类器。而朴素贝叶斯分类器是贝叶斯分类器中最简单,也是最常见的一种分类方法。并且,朴素贝叶斯算法仍然是流行的十大挖掘算法之...

                                                                       "微信公众号" 

    本文同步更新在我的微信公众号里,地址:https://mp.weixin.qq.com/s/jfQNQ0mMe7a-k3IQNL_YAg

    本文同步更新在我的知乎专栏里,地址:https://zhuanlan.zhihu.com/p/40485461

    1. 摘要

    贝叶斯分类器是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类器。而朴素贝叶斯分类器是贝叶斯分类器中最简单,也是最常见的一种分类方法。并且,朴素贝叶斯算法仍然是流行的十大挖掘算法之一,该算法是有监督的学习算法,解决的是分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立(条件特征独立)性和连续变量的正态性假设为前提,就会导致算法精度在某种程度上受影响。

    2. 贝叶斯分类器的基础

    要想学习贝叶斯算法的要领,我们需要先了解先验概率后验概率的概念。

    先验概率:是指根据以往经验和分析得到的概率。

    举个例子:如果我们对西瓜的色泽、根蒂和纹理等特征一无所知,按照常理来说,西瓜是好瓜的概率是60%。那么这个概率P(好瓜)就被称为先验概率。

    后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小。

    举个例子:假如我们了解到判断西瓜是否好瓜的一个指标是纹理。一般来说,纹理清晰的西瓜是好瓜的概率大一些,大概是75%。如果把纹理清晰当作一种结果,然后去推测好瓜的概率,那么这个概率P(好瓜|纹理清晰)就被称为后验概率。后验概率类似于条件概率。

    联合概率:设二维离散型随机变量(X,Y)所有可能取得值为,记则称 为随机变量X和Y的联合概率。计算如下:

    举个例子:在买西瓜的案例中,P(好瓜,纹理清晰)称为联合分布,它表示纹理清晰且是好瓜的概率。关于它的联合概率,满足以下乘法等式:

    其中,P(好瓜|纹理清晰)就是后验概率,表示在“纹理清晰”的条件下,是“好瓜”的概率。P(纹理清晰|好瓜)表示在“好瓜”的情况下,是“纹理清晰”的概率。

    全概率:如果事件组满足:

    全概率公式的意义在于:当直接计算P(A)较为困难时,而 

    的计算较为简单时,可以利用全概率公式进行计算P(A)。

    举个例子:上面联合概率概念买西瓜的例子中,我们要计算P(好瓜,纹理清晰)联合概率时,需要知道P(纹理清晰)的概率。那么,如何计算纹理清晰的概率呢?实际上可以分为两种情况:一种是好瓜状态下纹理清晰的概率,另一类是坏瓜状态下纹理清晰的概率。纹理清晰的概率就是这两种情况之和。因此,我们可以推导出全概率公式:

    贝叶斯定理:贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因(即大事件A已经发生的条件下,分割中的小事件的概率),设 是样本空间Ω的一个划分,则对任一事件A(P(A)>0),有贝叶斯定理:

    对于每个特征x,我们想要知道样本在这个特性x下属于哪个类别,即求后验概率P(c|x)最大的类标记。这样基于贝叶斯公式,可以得到:

    好了,学习完上面的先验概率后验概率联合概率全概率贝叶斯定理后,我们来小试牛刀一下:

    西瓜的状态分为两种:好瓜与坏瓜,概率分别为0.6和0.4,并且好瓜里面纹理清晰的概率是0.8,坏瓜里面纹理清晰的概率是0.4。那么,我现在挑了一个纹理清晰的瓜,该瓜是好瓜的概率是多少?

    很明显,这是一个后验概率问题,我们可以直接给出公式:

    对公式里面出现的概率一个一个分析:

    后验概率:P(纹理清晰|好瓜)=0.8

    先验概率:P(好瓜)=0.6

    后验概率:P(纹理清晰|坏瓜)=0.4

    先验概率:P(坏瓜)=0.4

    由上面分析的数值,我们可以直接求解上式:

    这样,我们就计算得到了纹理清晰的情况下好瓜的概率是0.75。上面计算后验概率P(好瓜|纹理清晰)的公式就是利用了贝叶斯定理。

    3. 朴素贝叶斯分类器

    不难发现,基于贝叶斯公式(公式1)来估计后验概率P(c|x)的主要困难在于:类条件概率P(x|c)是所以属性上的联合概率(即x代表的是多个属性),难以从有限的训练样本直接估计而得。为了避开这个障碍,朴素贝叶斯分类器(naive Bayes classifier)采用了“属性条件独立性假设”:对已知类别,假设所有属性相互独立。换言之,假设每个属性独立地对分类结果发生影响。

    朴素贝叶斯的算法步骤:

    1. 设某样本属性集合其中 n 为属性数目,为x在第i属性上的取值。

    2. 把这个样本划分为类别集合c中的某一类,

    3.  计算后验概率:

    其中,,体现了朴素贝叶斯的精髓:每个特征相互独立。

    那么,如何计算出 呢?首先找到一个已知类别分类集合,在这个集合中统计特征属性在各个类别下的条件概率,即得到我们要计算的

    值得注意的是:上式中的分母部分,对于所有的类别来说都是一样的。因此可以省略,针对不同的 ,仅需要比较的分子部分。

    4. 如果 ,则样本在属性集 x下属于

     温馨提示:如果对上面的算法步骤有点困惑,可以先看下面的例子,然后再回过头来理解朴素贝叶斯的算法步骤,理解效果会更好一点。

    4. 朴素贝叶斯分类实例

    我们已经了解了贝叶斯定理和朴素贝叶斯算法,可能你对上面的朴素贝叶斯算法还很困惑。这一小节,我们用一个实例来熟悉朴素贝叶斯算法。

    我们还以买西瓜为实例。现在,我们有包含10个样本的数据集,这组数据集是以纹理、色泽、敲声为特征判断是好瓜还是坏瓜。数据集如下:

    其中,纹理分为:清晰和模糊,色泽分为:青绿和乌黑,敲声分为:浊响、沉闷和清脆。不同的特征值组合对应着两类:好瓜还是坏瓜。

    现在,我从超市中挑选了一个西瓜,它的纹理清晰、色泽青绿、敲声沉闷。我们可以根据样本数据集和朴素贝叶斯算法来计算该西瓜是好瓜还是坏瓜。

    (1)首先,计算好瓜的情况:

    先验概率:P(好瓜)=6/10=0.6

    条件概率:P(纹理清晰|好瓜)=4/6=2/3

    条件概率:P(色泽青绿|好瓜)=4/6=2/3

    条件概率:P(敲声沉闷|好瓜)=2/6=1/3

    计算后验概率P(好瓜|纹理清晰、色泽青绿、敲声沉闷)分子部分:

    P(好瓜)x P(纹理清晰|好瓜)x P(色泽青绿|好瓜)x P(敲声沉闷|好瓜)= 0.6 × (2 / 3) × (2 / 3) × (1 / 3) = 4 / 45。

    (2)然后,计算坏瓜的情况:

    先验概率:P(坏瓜)=4/10=0.4

    条件概率: P(纹理清晰|坏瓜) =1/4=0.25

    条件概率: P(色泽青绿|坏瓜) =1/4=0.25

    条件概率: P(敲声沉闷|坏瓜) =1/4 =0.25

    计算后验概率P(坏瓜|纹理清晰、色泽青绿、敲声沉闷)分子部分:

    P(坏瓜) × P(纹理清晰|坏瓜) × P(色泽青绿|坏瓜) × P(敲声沉闷|坏瓜) = 0.4 × 0.25 × 0.25 × 0.25 = 1 / 160。

    (3)比较好瓜、坏瓜类别中的后验概率:

    P(好瓜|纹理清晰、色泽青绿、敲声沉闷)> P(坏瓜|纹理清晰、色泽青绿、敲声沉闷),即4/45 > 1/160,所以预测该纹理清晰、色泽青绿、敲声沉闷西瓜为好瓜。

    5. 关于朴素贝叶斯容易忽略的点

    (1)由上文看出,计算各个划分的条件概率 是朴素贝叶斯分类的关键性步骤,当特征属性为离散值时,能很方便的统计训练样本中各个划分在每个类别中出现的频率即可用来估计 ,下面重点讨论特征属性是连续值的情况。

    当特征属性为连续值时,通常假定其值服从高斯分布(也称正态分布)。即:

    则:

    因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差,代入上述公式即可得到需要的估计值。均值与标准差的计算在此不再赘述。

    (2) 另一个需要讨论的问题就是当怎么办,当某个类别下某个特征项划分没有出现时,就是产生这种现象,这会令分类器质量大大降低。为了解决这个问题,我们引入Laplace校准,它的思想非常简单,就是对每个类别下所有划分的计数加1,这样如果训练样本集数量充分大时,并不会对结果产生影响,并且解决了上述频率为0的尴尬局面。

    6. 朴素贝叶斯分类器的优缺点

    (1)优点:

    1)简单易懂、学习效率高。

    2)分类过程中时空开销小。

    (2)缺点:

    算法以自变量之间的独立(条件特征独立)性和连续变量的正态性假设为前提,会导致算法精度在某种程度上受影响。

    Reference:

    【1】《机器学习》,周志华著。

    【2】通俗易懂!白话朴素贝叶斯

    【3】Machine Learning -- Naive Bayes(朴素贝叶斯)

    【4】教你明白啥是朴素贝叶斯分类器

    【5】带你理解朴素贝叶斯分类算法

    展开全文
  • 贝叶斯分类器详解

    万次阅读 多人点赞 2019-07-07 08:22:20
    本文介绍了贝叶斯的基本知识,然后给出了极大似然估计。最后给出了朴素贝叶斯分类器和半朴素贝叶斯分类器,并给出了西瓜书上相关的例题。


    一、贝叶斯简介

    简介:贝叶斯分类器是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类器。而朴素贝叶斯分类器是贝叶斯分类器中最简单,也是最常见的一种分类方法。并且,朴素贝叶斯算法仍然是流行的十大挖掘算法之一,该算法是有监督的学习算法,解决的是分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立(条件特征独立)性和连续变量的正态性假设为前提,就会导致算法精度在某种程度上受影响。

    基础:以下是掌握贝叶斯分类器必须要掌握的知识。

    先验概率:是指根据以往经验和分析得到的概率。
    例:如果我们对西瓜的色泽、根蒂和纹理等特征一无所知,按照常理来说,西瓜是好瓜的概率是60%。那么这个概率P(好瓜)就被称为先验概率。

    后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小。
    例:假如我们了解到判断西瓜是否好瓜的一个指标是纹理。一般来说,纹理清晰的西瓜是好瓜的概率大一些,大概是75%。如果把纹理清晰当作一种结果,然后去推测好瓜的概率,那么这个概率P(好瓜|纹理清晰)就被称为后验概率。后验概率类似于条件概率。

    **联合概率:设二维离散型随机变量(X,Y)所有可能取得值为,记则称 为随机变量X和Y的联合概率。**计算如下:
    在这里插入图片描述
    例:在买西瓜的案例中,P(好瓜,纹理清晰)称为联合分布,它表示纹理清晰且是好瓜的概率。关于它的联合概率,满足以下乘法等式:
    在这里插入图片描述
    其中,P(好瓜|纹理清晰)就是后验概率,表示在“纹理清晰”的条件下,是“好瓜”的概率。P(纹理清晰|好瓜)表示在“好瓜”的情况下,是“纹理清晰”的概率。

    全概率:如果事件组 B 1 B1 B1, B 2 B2 B2满足:
    在这里插入图片描述
    全概率公式的意义在于:当直接计算 P ( A ) P(A) PA较为困难时,而 在这里插入图片描述
    的计算较为简单时,可以利用全概率公式进行计算P(A)。

    例:上面联合概率概念买西瓜的例子中,我们要计算 P ( 好 瓜 , 纹 理 清 晰 ) P(好瓜,纹理清晰) P联合概率时,需要知道 P ( 纹 理 清 晰 ) P(纹理清晰) P的概率。那么,如何计算纹理清晰的概率呢?实际上可以分为两种情况:一种是好瓜状态下纹理清晰的概率,另一类是坏瓜状态下纹理清晰的概率。纹理清晰的概率就是这两种情况之和。因此,我们可以推导出全概率公式:在这里插入图片描述
    **贝叶斯定理:**贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因(即大事件A已经发生的条件下,分割中的小事件 B i B_i Bi的概率),设 B 1 , B 2 , … B_1,B_2,… B1,B2,是样本空间Ω的一个划分,则对任一事件A(P(A)>0),有贝叶斯定理:
    在这里插入图片描述
    对于每个特征x,我们想要知道样本在这个特性x下属于哪个类别,即求后验概率P(c|x)最大的类标记。这样基于贝叶斯公式,可以得到:
    在这里插入图片描述

    二、贝叶斯决策论

    贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法,以多分类任务为例来解释其基本原理。

    假设有N种可能的类别标记,即 y = { c 1 , c 2 , … , c N } y=\{c_1,c_2,…,c_N\} y={c1,c2,,cN} λ i j λ_{ij} λij是将一个真实标记为 c j c_j cj的样本误分类为 c i c_i ci所产生的损失。基于后验概率 P ( c i ∣ x ) P(c_i |x) P(cix)可获得将样本 x x x分类为 c i c_i ci所产生的期望损失,即在样本x上的“条件风险” 。
    在这里插入图片描述
    我们的任务是寻找一个判定准则h: χ → y χ→y χy以最小化总体风险。
    在这里插入图片描述
    显然,对每个样本 x x x,若h能最小化条件风险 R ( h ( x ) ∣ x ) R(h(x) | x) R(h(x)x),则总体风险 R ( h ) R(h) R(h)也将被最小化.贝叶斯判定准则(Bayes decision rule):为最小化总体风险,只需在每个样本上选择那个能使条件风险 R ( c ∣ x ) R(c | x) R(cx)最小的类别标记,即
    在这里插入图片描述
    h ∗ h^* h 称为贝叶斯最优分类器, R ( h ∗ ) R(h^*) R(h)称为贝叶斯风险。 $1-R(h^*)反映了分类器所能达到的最好性能,即通过机器学习所能产生的模型精度的理论上限.

    具体来说,若目标是最小化分类错误率,则误判损失 λ i j λ_{ij} λij可写为:
    在这里插入图片描述
    即对每个样本 x x x,选择能使后验概率 P ( c ∣ x ) P(c | x) P(cx)最大的类别标记。

    获得后验概率 P ( c ∣ x ) P(c|x) P(cx),在现实任务中通常难以直接获得.所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率 P ( c │ x ) P(c│x) P(cx).

    有两种策略:
    直接建模 P ( c ∣ x ) P(c|x) P(cx)来预测 c c c,“判别式模型”;
    对联合概率分布 P ( x , c ) P(x,c) P(x,c)建模,然后再由此获得P(c|x),“生成式模型”。
    Fisher判别式、支持向量机等,都可归入判别式模型的范畴.

    对生成式模型:
    在这里插入图片描述
    基于贝叶斯定理, P(c| x)可写为:
    在这里插入图片描述

    $P(c)$:是类“先验”概率;
    $P(x│c)$:是样本x相对于类标记c的类条件概率,或称为“似然”; 
    $P(x)$:是用于归一化的“证据”子.
    

    证据因子 P ( x ) P(x) P(x)与类标记无关,因此估计 P ( c ∣ x ) P(c|x) P(cx)的问题就转化为如何基于训练数据D来估计先验 P ( c ) P(c) P(c)和似然 P ( x ∣ c ) P(x|c) P(xc).。 P ( c ) P(c) P(c)可通过各类样本出现的频率来进行估计。

    对类条件概率 P ( x ∣ c ) P(x|c) P(xc)来说,直接根据样本出现的频率来估计将会遇到严重的困难。很多样本取值在训练集中根本没有出现,“未被观测到”与“出现概率为零”通常是不同的。

    三、极大似然估计

    估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式,再基于训练样本对概率分布的参数进行估计。

    假设 P ( x ∣ c ) P(x|c) P(xc)具有确定的形式并且被参数向量 θ c θ_c θc唯一确定,则我们的任务就是利用训练集 D D D估计参数 θ c θ_c θc.我们将P(x|c)记为 P ( x ∣ θ c ) P(x|θ_c) P(xθc)

    参数估计 两个学派:
    频率主义学派认为参数虽然未知,但却是客观存在的固定值,可通过优化似然函数等准则来确定参数值;

    经典的方法:极大似然估计

    贝叶斯学派则认为参数是未观察到的随机变量, 可假定参数服从一个先验分布,然后基于观测到的数据来计算参数的后验分布.

    D c D_c Dc表示训练集 D D D中第 c c c类样本组成的集合,假设这些样本是独立同分布的,则参数 θ c θ_c θc对于数据集 D c D_c Dc的似然是:
    在这里插入图片描述
    同时发生,因此连乘

    θ c θ_c θc进行极大似然估计,就是去寻找能最大化似然 P ( D c ∣ θ c ) P(D_c | θ_c) P(Dcθc)的参数值 θ c ^ \hat{\theta _c} θc^.直观上看,极大似然估计是试图在 θ c θ_c θc所有可能的取值中,找到一个能使数据出现的“可能性”最大的值。

    对数似然
    在这里插入图片描述
    连乘转换为连加,更好处理

    此时参数 θ c θ_c θc的极大似然估计 θ c ^ \hat{\theta _c} θc^
    在这里插入图片描述
    后面是求偏导等于0,求方程组

    例题解析

    例1, 假设概率密度函数 p ( x │ c )   N ( μ c , σ c 2 ) p(x │ c) ~ N(μ_c,σ_c^2 ) p(xc) N(μc,σc2),求参数 μ c μ_c μc σ c 2 σ_c^2 σc2的极大似然估计:
    在这里插入图片描述
    一维正态的情况,设 θ 1 = μ , θ 2 = σ 2 \theta _{1}=\mu ,\theta _{2}=\sigma ^2 θ1=μθ2=σ2 则:
    在这里插入图片描述
    则有:
    在这里插入图片描述
    可见,正态分布中的协方差阵Σ的最大似然估计量等于N个矩阵的算术平均值。

    这种参数化的方法相对简单,但估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布.

    四、朴素贝叶斯分类器

    基于贝叶斯公式来估计后验概率 P ( c ∣ x ) P(c|x) P(cx)的主要困难:类条件概率 P ( x ∣ c ) P(x|c) P(xc)是所有属性上的联合概率,难以从有限的训练样本直接估计而得。

    朴素贝叶斯分类器采用了“属性条件独立性假设”: 假设所有属性相互独立.

    基于属性条件独立性假设,贝叶斯公式可重写为:
    在这里插入图片描述
    其中 d d d为属性数目, x i x_i xi x x x在第 i i i个属性上的取值.
    在这里插入图片描述
    这就是朴素贝叶斯分类器的表达式.

    朴素贝叶斯分类器的训练过程就是基于训练集 D D D来估计类先验概率 P ( c ) P(c) P(c),并为每个属性估计条件概率 P ( x i ∣ c ) P(x_i |c) P(xic).

    类先验概率:
    在这里插入图片描述
    对离散属性而言,则条件概率 P ( x i ∣ c ) P(x_i |c) P(xic)可估计为:
    在这里插入图片描述
    c c c类第 i i i个属性上取值为 x i x_i xi的样本

    *比如*:在下边西瓜分类的例题中, c c c表示好瓜坏瓜 x i x_i xi表示属性 D c D_c Dc表示某一类的数量,如果用 c 1 c_1 c1表示好瓜,则 D c 1 D_{c1} Dc1表示好瓜的数量,在下表中可以数出来, D c 1 = 8 D_{c1}=8 Dc1=8,同理,用 x 1 x_1 x1表示青绿色,则 D c , x 1 D_{c,x_1} Dcx1表示既是好瓜,又是青绿色的瓜的数目,显然, D c , x 1 = 3 D_{c,x_1}=3 Dcx1=3。所以,条件概率好瓜的情况下是青绿色的瓜的概率是 P ( 青 绿 色 ∣ 好 瓜 ) = 3 / 8 = 0.375 P(青绿色 |好瓜)=3/8=0.375 P(绿)=3/8=0.375

    对连续属性可考虑概率密度函数,假定 p ( x i ∣ c ) ∼ N ( μ c , i , σ c , i 2 ) p(x_i | c) \sim N(μ_{c,i},σ_{c,i}^2) p(xic)N(μc,i,σc,i2),其中 μ c , i μ_{c,i} μc,i σ c , i 2 σ_{c,i}^2 σc,i2分别是第 c c c类样本在第 i i i个属性上取值的均值和方差,则有:
    在这里插入图片描述
    如,下面例题中的密度,含糖量是属于连续属性。生活中,还有身高,体重等长度、重量是连续属性。而离散属性如例题中的色泽,根蒂等属性,每个属性的种类有限,属于离散型的。

    例题解析

    下面我们用西瓜数据集3.0训练一个朴素贝叶斯分类器,进行分类:
    首先估计类先验概率 P ( c ) P(c) Pc,然后,为每个属性估计条件概率 P ( x i ∣ c ) P(x_i | c) P(xic)
    在这里插入图片描述
    在这里插入图片描述
    于是,有:
    在这里插入图片描述
    在这里插入图片描述
    由于 0.038 &gt; 6.80 × 1 0 − 5 0.038&gt;6.80×10^{-5} 0.038>6.80×105,因此,朴素贝叶斯分类器将测试样本“测1”判别为“好瓜”。


    需注意,若某个属性值在训练集中没有与某个类同时出现过,对一个“敲声=清脆”的测试例,
    在这里插入图片描述
    为了避免,通常要进行“平滑”,拉普拉斯修正
    在这里插入图片描述
    例如,在本节的例子中,类先验概率可估计为 :
    在这里插入图片描述
    类似地, P 青 绿 ∣ 是 P_{青绿|是} P绿 P 青 绿 ∣ 否 P_{青绿|否} P绿 可估计为:
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190701213523855.png
    同时,上文提到地概率 P 青 脆 ∣ 是 P_{青脆|是} P 可估计为:
    在这里插入图片描述
    显然,拉普拉斯修正避免了因训练集样本不充分而导致概率估值为零的问题,并且在训练集变大时,修正过程所引入的先验的影响也会逐渐变得可忽略,使得估值渐趋向于实际概率值.

    朴素贝叶斯分类器有多种使用方式:
    1.可将朴素贝叶斯分类器涉及的所有概率估值事先计算好存储起来,这样在进行预测时只需“查表”即可进行判别;
    2.“懒惰学习”(lazy learning)方式;在现有估值基础上,先不预先计算,
    3.数据增加是,仅对新增样本的属性值所涉及的概率估值进行计数修正即可实现增量学习.

    五、半朴素贝叶斯分类器

    朴素贝叶斯分类器采用了属性条件独立性假设,但在现实任务中这个假设往往很难成立.
    进行一定程度的放松,称为“半朴素贝叶斯分类器”。适当考虑一部分属性间的相互依赖信息。
    独依赖估计(One-Dependent Estimator,简称ODE)是半朴素贝叶斯分类器最常用的一种策略.顾名思议,所谓“独依赖”就是假设每个属性在:类别之外最多仅依赖于一个其他属性,即
    在这里插入图片描述
    其中 p a i pa_i pai为属性 x i x_i xi所依赖的属性,称为 x i x_i xi的父属性.此时,对每个属性 x i x_i xi,若父属性 p a i pa_i pai已知,则可采用类似下面的公式来估计概率值 P ( x i │ c , p a i ) P(x_{i│c},pa_i ) P(xic,pai).
    在这里插入图片描述
    于是,问题的关键就转化为如何确定每个属性的父属性,不同的做法产生不同的独依赖分类器。

    最直接的做法是假设所有属性都依赖于同-一个属性,称为“超父”(super-parent),由此形成了 SPODE(Super-Parent ODE)方法.
    在这里插入图片描述
    TAN (Tree Augmented naive Bayes)则是在最大带权生成树算法的基础上,通过以下步骤将属性间依赖关系约简为如图7.1©所示的树形结构:

    (1)计算任意两个属性之间的条件互信息:
    在这里插入图片描述
    (2) 以属性为结点构建完全图,任意两个结点之间边的权重设为 I ( x i , x j ∣ y ) I(x_i,x_j |y) I(xi,xjy);
    (3)构建此完全图的最大带权生成树,挑选根变量,将边置为有向;
    (4)加入类别结点y,增加从y到每个属性的有向边.

    条件互信息 I ( x i , x j ∣ y ) I(x_i,x_j |y) I(xi,xjy)刻画了属性 x i x_i xi x j x_j xj在已知类别情况下的相关性,通过最大生成树算法,TAN实际上仅保留了强相关属性之间的依赖性.

    与SPODE通过模型选择确定超父属性不同,AODE尝试将每个属性作为超父来构建SPODE,然后将那些具有足够训练数据支撑的SPODE集成起来作为最终结果,即:
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190701215118378.png
    在这里插入图片描述
    例如:

    在这里插入图片描述
    与朴素贝叶斯分类器类似,AODE的训练过程也是“计数”,即,在训练数据集上对符合条件的样本进行计数的过程、与朴素贝叶斯分类器相似,AODE无需模型选择,既能通过预计算节省预测时间,也能采取懒惰学习方式在预测时再进行计数,并且易于实现增量学习.

    [下一篇]:贝叶斯网络、EM算法推导

    展开全文
  • 最简单的贝叶斯分类器演示Matlab程序。入门必备。 详细请参考本人的博客http://blog.csdn.net/ranchlai/article/details/10375579
  • 贝叶斯分类器理论知识。包括贝叶斯决策论,朴素贝叶斯分类器,半朴素贝叶斯分类器
    学习贝叶斯分类器,理论。


    展开全文
  • 理解高斯分类器

    千次阅读 2019-06-20 08:37:13
    在本文中,我们讨论了单变量和多变量正态分布,以及如何使用贝叶斯定理导出高斯分类器。像高斯这样的分类器简单而直观,并且可以解释。 正态/高斯分布 在现实生活中,我们总是会对某些现象产生不确定性...
  • 参考我的个人博客: 分类器设计之logistic回归分析 http://blog.csdn.net/ranchlai/article/details/10022637
  • python的svm分类器

    热门讨论 2014-03-03 10:56:10
    基于python的SVM分类算法,可以直接使用,包含源代码,支持参数设定
  • 用vs2008编写的贝叶斯分类器,含有测试数据“wine.txt”,是学习贝叶斯分类器的好选择
  • 朴素贝叶斯分类器(MATLAB源代码)

    热门讨论 2014-09-30 18:07:20
    朴素贝叶斯分类器 MATLAB 源代码,里面含有使用实例,用的是 UCI 的 mushroom 数据集。 分类器详细介绍见: http://blog.csdn.net/yunduanmuxue/article/details/39693917
  • 监督学习之分类学习:线性分类器

    万次阅读 2021-04-29 17:44:12
    监督学习之分类学习 Introduction 分类学习是最为常见的监督学习问题,并且其中的经典模型也最为广泛地被应用。其中,最基础的便是**二分类(Binary Classification)问题,即判断是非,从两个类别中选择一个作为预测结果...
  • 机器学习总结之——线性分类器与非线性分类器 1、线性分类器 1.1线性分类器的定义   线性分类器就是用一个“超平面”将正、负样本隔离开,如:   (1)二维平面上的正、负样本用一条直线来进行分类; ...
  • 一个分类器的分类准确率在60%-80%,即:比随机预测略好,但准确率却不太高,我们可以称之为“弱分类器”,比如CART(classification and regression tree分类与回归树)。 反之,如果分类精度90%以上,则是强分类...
  • 贝叶斯分类器是以贝叶斯原理为基础的分类器的总称,是一种生成式模型,朴素贝叶斯分类器是其中最简单的一种。要高明白贝叶斯分类器的原理,首先得明白一些基本概念。 预备知识 基本概念 先验概率:根据统计/经验...
  • OpenCV生成XML分类器文件

    热门讨论 2013-08-21 17:54:53
    OpenCV生成XML分类器文件
  • OpenCV | 训练识别狗的分类器过程详解

    万次阅读 多人点赞 2019-04-09 19:49:35
    文章目录一、样本准备二、训练数据准备三、得到vec文件四、训练最终的分类器五、参数解析六、验证识别效果代码七、运行结果 一、样本准备 包括正样本和负样本,由于是手工准备的数据都是在百度截取的图片,所以...
  • 朴素贝叶斯分类器(Matlab代码)

    热门讨论 2014-09-06 17:52:21
    不是matlab 官方版本,自己动手写的并含有测试模块,适合学习贝叶斯编程过程。
  • 理解贝叶斯分类器原理及关系

    千次阅读 多人点赞 2019-01-01 19:42:01
    贝叶斯分类器是什么?有什么用?怎么用? 为了更好地理解这个问题,我们先看一个案例: 案例(来源于西瓜书):[1] 判断一个具有特征:{色泽=青绿,根蒂=蜷缩,敲声=浊响,纹理=清晰,脐部=凹陷,触感=硬...
  • 图像分类基本流程及 KNN 分类器

    千次阅读 2018-09-07 16:14:06
      所谓图像分类问题,就是已有固定的分类标签集合,然后对于输入的图像,从分类标签集合中找出一个分类标签,最后把分类标签分配给该输入图像。虽然看起来挺简单的,但这可是计算机视觉领域的核心问题之一,计算机...
  • KNN分类器完整的matlab代码

    热门讨论 2013-07-18 15:59:38
    可以通过使用KNN分类器进行图片分类,KNN分类器完整的matlab代码。
  • opencv Haar+AdaBoost分类器+Cascade

    千次阅读 2019-04-25 20:10:01
    写的很乱,仅供自己做笔记使用吧。...不过单独一个这样的分类器当真不敢恭维,他们都是弱分类器,他们能做得不多,就像战场上的士兵不计其数,组合在一起却会有意想不到的变化。 2、AdaBoost ...
  • OpenCV+Python训练分类器

    千次阅读 2019-11-24 13:07:49
    @[TOC]opencv训练自己的分类器 opencv训练自己的分类器 总结一下在学习训练自己的分类器所看到的有帮助的资料。 正负样本的处理 正样本:负样本=1:3,正样本尺寸:负样本尺寸=1:6的最终效果比较好,若是场景比较...
  • 最小错误率贝叶斯分类器(包含matlab程序)1. 最小错误贝叶斯分类器原理2.最小错误率贝叶斯分类器的图形表示3.三类最小错误率贝叶斯分类器实验实验代码 1. 最小错误贝叶斯分类器原理 在对模式进行识别时,在存在...
  • AdaBoost分类器

    千次阅读 2017-09-22 19:28:10
    现在分析alpha的公式,由于误差率delta是大于0.5小于1的数值,所以当delta增大时,alpha也是增大的,也就是说一个弱分类器的错误率越大,其获得的权重也是越大的,这就意味着在训练的时候,分类器会更加注重这些错误...
  • 监督分类器

    千次阅读 2018-07-26 16:49:50
    监督分类器总结 分类器具有学习能力的描述:通过数据提高分类器的分类表现!!! 1 监督回归问题中的:线性回归、多元线性回归、非线性回归 2 分类标准中的:伯努利分布的Logistic二分类和多项式分布的Softmax多...
  • 机器学习(十二)-基于规则的分类器

    万次阅读 多人点赞 2019-06-11 09:22:47
    本文主要介绍给予规则的分类器的相关内容
  • Softmax分类器

    千次阅读 2020-03-17 17:52:24
    下面我们介绍一下分类器最终的LOSS值是怎么计算的: 第一步:对应于一个输入计算出它属于每种类别的得分数值。 第二部:利用sigmoid函数把所有的得分值映射成一个概率值。 第三部:对最终正确分类所占的概率求一个...
  • 级联分类器训练过程(步骤)

    千次阅读 2018-04-23 17:56:33
    本文借助百度翻译,翻译自:...正文详情如下:介绍使用改进的级联弱分类器包括两个主要阶段:训练阶段和检测阶段。检测阶段使用HAAR或基于LBP的模型,在对象检测教程(object detection tut...
  • 最近邻分类器Matlab实现

    热门讨论 2010-05-04 22:40:11
    最近邻分类器 1NN分类器 Matlab 在小样本人脸识别里,最近邻分类器似乎比KNN,贝叶斯分类器还要好。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 752,871
精华内容 301,148
关键字:

分类器