精华内容
下载资源
问答
  • 贝叶斯判别

    千次阅读 2019-10-18 17:13:13
    贝叶斯判别 根据概率判别规则,有: 若P(ω1 | x) > P(ω2 | x),则x∈ω1 若P(ω1 | x) < P(ω2 | x),则x∈ω2 由贝叶斯定理,后验概率P(ωi | x)可由类别ωi的先验概率P(ωi)和x的条件概率密度p(x | ω...

    贝叶斯判别

    根据概率判别规则,有:

    P(ω1 | x) > P(ω2 | x)xω1 

    P(ω1 | x) < P(ω2 | x)xω2

    由贝斯定理,后验概率P(ωi | x)可由类别ωi的先验概率P(ωi)和x的条件概率密度p(x | ωi)来计算,即:

    这里p(x | ωi)也称为似然函数。将该式代入上述判别式,有:

    p(x | ω1)P(ω1) > p(x | ω2)P(ω2)

    xω1

    p(x | ω1)P(ω1) < p(x | ω2)P(ω2)

    xω2

    xω1

    ,则xω2

    其中,l12称为似然比,P(ω2)/P(ω1)=θ21称为似然比的判决阈值,此判别称为贝叶斯判别。

     

     

    展开全文
  • 贝叶斯判别matlab

    2020-05-22 09:00:24
    matlab实现的贝叶斯距离判别法,程序设计使用的
  • 贝叶斯判别分析

    2020-04-27 09:46:17
    Bayes判别:假定对研究对象已经有一定的认识,但...贝叶斯判别函数如下: discriminiant.bayes<-function (TrnX1, TrnX2, rate=1, TstX = NULL, var.equal = FALSE) #输入X1类样本集,输入X2类样本集,TstX为待测...

    代码部分借鉴于:https://blog.csdn.net/TOMOCAT/article/details/78723277?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158795131619725256730493%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=158795131619725256730493&biz_id=0&utm_source=distribute.pc_search_result.none-task-blog-2allfirst_rank_v2~rank_v25-1

    Bayes判别:假定对研究对象已经有一定的认识,但这种认识常用先验概率来描述,取得样本后,就可以用样本修正已有的先验概率,得到后验概率。

    R语言实现
    回代函数如下:
    discriminiant.bayes<-function
    (TrnX1, TrnX2, rate=1, TstX = NULL, var.equal = FALSE)
    #输入X1类样本集,输入X2类样本集,TstX为待测样本,如果不输入则计算实验样本的回代情况,var.equal=T
    #认为两总体的协方差矩阵相同,.rate= c(1|2) / c(2|1)*p2/p1
    {

    if (is.null(TstX) == TRUE) TstX<-rbind(TrnX1,TrnX2)
    if (is.vector(TstX) == TRUE) TstX<-t(as.matrix(TstX))
    else if (is.matrix(TstX) != TRUE)
    TstX<-as.matrix(TstX)
    if (is.matrix(TrnX1) != TRUE) TrnX1<-as.matrix(TrnX1)
    if (is.matrix(TrnX2) != TRUE) TrnX2<-as.matrix(TrnX2)
    x1<-nrow(TrnX1)
    x2<-nrow(TrnX2)
    nx<-nrow(TstX)
    mu1<-colMeans(TrnX1)
    mu2<-colMeans(TrnX2)
    S1<-var(TrnX1)
    S2<-var(TrnX2)
    blong<-matrix(rep(0, nx), nrow=1, byrow=TRUE,
    dimnames=list(“blong”, 1:nx))
    if (var.equal == TRUE || var.equal == T)
    {
    S<-((x1-1)S1+(x2-1)S2)/(x1+x2-2)
    #S<-cov(rbind(TrnX1,TrnX2))
    #S<-var(rbind(TrnX1,TrnX2)) 两个S的值相等
    #var(rbind(dat[1:12,2:8],dat[12:35,2:8]))
    beta<-2
    log(rate)
    w<-mahalanobis(TstX, mu2, S)-mahalanobis(TstX, mu1, S)
    }
    else
    {
    beta<-2
    log(rate)+log(det(S1)/det(S2))
    w<-mahalanobis(TstX, mu2, S2)-mahalanobis(TstX, mu1, S1)
    }

    for (i in 1:nx)
    {
    if (w[i]>beta)
    blong[i]<-1
    else
    blong[i]<-2
    }
    blong
    }
    交叉确认估计函数:
    Bayes.jiaocha<-function(TrnX1,TrnX2,rate=1,var.equal = FALSE)
    {
    if (is.matrix(TrnX1) != TRUE) TrnX1<-as.matrix(TrnX1)
    if (is.matrix(TrnX2) != TRUE) TrnX2<-as.matrix(TrnX2)
    x<-nrow(TrnX1)+nrow(TrnX2)
    blong1<-matrix(rep(0,x),nrow = 1,byrow = T,dimnames = list(‘blong’,1:x))
    blong2<-matrix(rep(0,x),nrow = 1,byrow = T,dimnames = list(‘blong’,1:x))
    if (rate==1)#先验概率相同
    {
    rate1<-1
    rate2<-1
    }
    else#按比例分配
    {
    rate1<-23/11
    rate2<-22/12
    }
    if (var.equal == TRUE || var.equal == T)#假设协方差相等的时
    {
    for (i in 1:x)
    {
    if(i<=nrow(TrnX1))#需要去除TrnX1中的一???,nrowTrnX1=12
    {
    blong1[i]<-discriminiant.bayes(TrnX1[-i,],TrnX2,TstX = TrnX1[i,],rate=rate1,var.equal = T)
    }
    else
    {
    blong1[i]<-discriminiant.bayes(TrnX1,TrnX2[-(i-12),],TstX = TrnX2[i-12,],rate=rate2,var.equal = T)
    }
    }
    blong1
    }
    else#假设协方差不相等的时
    {
    for (j in 1:x)
    {
    if(i<=nrow(TrnX1))#需要去除TrnX1中的一???,nrowTrnX1=12
    {
    blong2[j]<-discriminiant.bayes(TrnX1[-j,],TrnX2,TstX = TrnX1[j,],rate=rate1,var.equal = F)
    }
    else
    {
    blong2[j]<-discriminiant.bayes(TrnX1,TrnX2[-(j-12),],TstX = TrnX2[j-12,],rate=rate2,var.equal = F)
    }
    blong2
    }
    }

    }

    展开全文
  • 对三维空间特征的数据,通过最小错误率贝叶斯判别方式,对两类数据进行分类,并在空间中绘制出贝叶斯决策面
  • 贝叶斯判别规则贝叶斯判别规则是把某特征矢量 落入某类集群的条件概率当成分类判别函数(概率判别函数), 落入某集群的条件概率最大的类为 的类别,这种判决规则就是贝叶斯判别规则。贝叶斯判别规则是以错分概率或...

    贝叶斯判别规则

    贝叶斯判别规则是把某特征矢量

    落入某类集群的条件概率当成分类判别函数(概率判别函数),
    落入某集群的条件概率最大的类为
    的类别,这种判决规则就是贝叶斯判别规则。贝叶斯判别规则是以错分概率或风险最小为准则的判别规则。

    贝叶斯最小错误率判别

    目的:要确定

    是属于
    类还是
    类,要看X是来自于
    类的概率
    大还是来自
    类的概率
    大。

    公式推导:

    根据判别规则,有

    >
    ,则

    <
    ,则
    贝叶斯定理:
    条件概率

    由贝叶斯定理可得,后验概率

    可由类别
    的先验概率
    x的条件概率密度
    来计算,即
    所谓先验概率
    就是,其他的条件什么都不管,统计出来的属于
    类的概率。

    后验概率
    就是发生了
    之后,属于
    类的概率。

    条件概率密度
    就是统计在
    类中发生
    的概率。

    将上式判别式,有

    ,则

    ,则

    或者

    ,则

    ,则

    其中,

    称为似然比,
    称为判决阈值,此判别式即称为贝叶斯判别。

    例子1:

    对某一地震高发区进行统计,地震以

    类表示,正常以
    类表示。统计的时间区间内, 每周发生地震的概率为20%,即
    ,当然
    。通常地震与生物异常反应之间有一定的联系。若用生物是否有异常反应这一观察现象来对地震进行预测,生物是否异常这一结果以模式
    x代表,这里x为一维特征,且只有x =“异常”和x =“正常”两种结果。假设根据观测记录,发现这种方法有以下统计结果:
    • 地震前一周内出现生物异常反应的概率=0.6,即
    • 地震前一周内出现生物正常反应的概率=0.4,即
    • 一周内没有发生地震但出现生物异常的概率=0.1,即
    • 一周内没有发生地震时生物正常的概率=0.9,即

    若某日观察到明显的生物异常反应现象,此情况属于地震还是正常?

    似然比:

    判决阈值:

    似然比>判决阈值,则属于第一类,即为地震。

    例子2:

    小刘的女神每次看到他的时候都冲他笑,那么女神到底喜不喜欢小刘呢?

    喜欢小刘记为

    类,不喜欢小刘记为
    类,女神喜欢一个人的概率我们假定为0.5,即
    ,经过向女神闺蜜询问调查,有以下结果:
    • 女神喜欢一个人的话,见面冲他笑的概率为
    • 女神喜欢一个人的话,见面不冲他笑的概率为
    • 女神不喜欢一个人的话,见面冲他笑的概率为
    • 女神不喜欢一个人的话,见面不冲他笑的概率为

    因此,女神经常冲小刘笑,喜欢上小刘的概率是0.77。这说明,女神经常冲小刘笑这个新信息的推断能力很强,将0.5的先验概率提高到了0.77的后验概率。

    推广

    • 允许使用多余一个特征:标量、向量、多种特征向量;
    • 允许多于两种类别状态的情形;
    • 通过引入一个更一般的损失函数来替代误差概率:损失函数精确阐述了每种行为所付出的代价的大小,分类错误代价相等是最简单的情况。

    贝叶斯最小风险判别

    前面我们讨论了最小错误率的贝叶斯判别,但是,是不是在任何情况下都使用基于最小错误率的贝叶斯决策才是最佳的呢?实际情况不是这样的,比如对于药品的检测,对于药品生产商而言,大部分的药品都是合格的,只有少数的不合格。如果我们把正常药品判断成异常药品,这样会增加总的错误率,给企业带来一些损失;但如果把异常药品判断成正常药品,虽然会使错误率最小,但病人可能会被使用不合格的药品,对治疗非常不利,甚至会使得病人耽误治疗,乃至于有生命危险。可见这时使用错误率最小是不合适的。所以说,单纯地考虑后验概率的最小错误率,会带来更多的损失和风险,为了体现这种风险,我们对贝叶斯公式进行加权修正。

    当考虑到对于某一类的错误判别要比另一类的判别更为关键时,就需要把最小错误概率的贝叶斯判别做一些修正,提出条件平均风险

    M类分类问题的条件平均风险

    对于M类问题,如果观察样本被判定属于

    类,则条件平均风险为:

    其中,

    称为将本应属于
    类的模式判别成属于
    类的是非代价。
    的取值:
    • 若i=j,即判别正确,得分, Lij可以取负值或零,表示不失分;
    • 若i≠j,即判别错误,失分, Lij应取正值。

    按贝叶斯公式,条件平均风险可写成:

    为公共项,可舍去,故可简化为:

    这也是贝叶斯分类器,只是它的判别方法不是按照错误概率最小作为标准,而是按平均条件风险作为标准。

    例子1:

    已知某个局部组织中有异常细胞,且正常细胞

    和异常细胞
    的先验概率为
    。现给一个待识别的细胞,其观测值为
    ,从类条件概率密度函数中可以查到:

    此题中,我们给定

    贝叶斯后验概率为:

    加入代价后的贝叶斯风险为:

    显然,

    ,应该把
    判定为异常细胞。

    例子2:

    还是相同的小刘喜欢女神的背景,不过这次小刘要根据女神是不是喜欢他来进行是否向女神表白,因为将女神不喜欢小刘判断为喜欢小刘的风险较大,所以这里我们将权重设置为:

    我们知道贝叶斯后验概率为:

    加入代价后的贝叶斯风险为:

    ,仍旧判别问女神喜欢小刘,小刘可以去向女神表白喽~

    后记

    如有问题,欢迎交流批评指正。

    展开全文
  • 贝叶斯判别算法matlab的实现,详细地介绍了贝叶斯算法
  • 作为智能配电网的重要设备之一,电力变压器运行状态的准确判别和...建立基于模糊综合评价和贝叶斯判别的电力变压器状态判别和预警模型。实例证明该模型能准确高效地判别变压器的工作状态并提出相应的预警和检修计划。
  • 贝叶斯判别

    万次阅读 2017-08-21 21:14:40
    贝叶斯判别法  Naive Bayes 算法基本原理 假设 为一任意样本,它的特征为 其中 表示该样本中出现的第i个特征项。预定义的样本类别为 。假设在给定的条件下,特征项之间都是相互独立的,不存在任何依赖关系。...

    贝叶斯判别法

     

    1. Naive Bayes 算法基本原理

    假设 为一任意样本,它的特征为 其中 表示该样本中出现的第i个特征项。预定义的样本类别为 。假设在给定的条件下,特征项之间都是相互独立的,不存在任何依赖关系。则根据Naïve Bayes算法,样本 与已知各类的条件概率 定义为:

             

    因为对计算结果没有影响,所以可以忽略。而得到:

             

    其中, 可以通过如下的公式来估计:

             

             

    式中, 表示类 中的样本数目, 为特征项 中出现的频率总数。

    对样本 进行分类,就是按公式(1)计算所有样本类在给定 情况下的概率,概率值最大的那个类就是 所在的类,即:

             

    1. 算法求解

    对于贝叶斯判别,首先确定一个 的训练样本观测值矩阵,它的每一行对应一组DNA序列的观测值,每一列对应一个变量,这里将问题二中18种变量都用作训练。Matlab中提供NaiveBayes类,创建朴素贝叶斯分类器对象对训练样本进行判别,得到的结果为:

     

     

    TO

    FROM

    A

    B

    A

    9

    1

    B

    0

    9

    由以上结果可以发现,A类中有9个样品得到正确的判别,还有1个样品被错误判到B类;B类中的9个样品均得到正确的判别。因此Bayes判别效果较好。则对10个未判别的DNA序列进行判别,程序见附录。最终得到分类结果为:

     

    类别

    编号

    A类

    B类

    DNA编号

    21,22,23,24,26,27,28,29,30

    25

    展开全文
  • 贝叶斯判别算法matlab的实现,详细地介绍了贝叶斯算法
  • 介绍了贝叶斯判别和逐步判别法的基本原理,分析了目前出现的一些特征变量优化方法,以油气解释评价中的贝叶斯判别应用为例,对于逐步贝叶斯判别中的变量优化方法进行了研究和总结,提出了变量的多步优化策略和分步多...
  • 煤与瓦斯突出影响因素多,难以为其建立合适的多指标非线性预测模型,为提高突出预测的准确性和增强预测预报方法的实用性,文章选用瓦斯压力、瓦斯放散速度等多项影响判别因子,建立了基于贝叶斯判别分析煤与瓦斯突出的...
  • 最小条件平均风险贝叶斯判别可以在本质上与最小错误贝叶斯判别等价,前提是前者对L的定义要符合要求,都是求输入样本的后验概率,谁大就判定为哪一类。
  • 贝叶斯判别函数和绝策面,通过对不同情况的讨论和分析,进一步理解应用贝叶斯理论进行分类器设计的理论知识。
  • 贝叶斯判别分析器Sentiment Analysis is contextual mining of text which identifies and extracts subjective information in the source material and helping a business to understand the social sentiment of...
  • 贝叶斯判别法常用于分类问题中 代码: data ex; input g x1-x3 @@; cards; 1 76 99 5374 1 79.5 99 5359 1 78 99 5372 1 72.1 95.9 5242 1 73.8 77.7 5370 2 71.2 93 4250 2 75.3 94.9 3412 2 70 91.2 3390 2 72.8...
  • 贝叶斯判别法是基于平均错判损失最小的前提下,定义的判别法。
  • 浅谈贝叶斯判别(Bayes)

    千次阅读 2019-02-11 16:51:34
    在现实世界中,由许多客观现象的发生,就每一次观察和测量来说,即使在基本条件保持不变的情况下也具有不确定性。...这就是贝叶斯判别的基本出发点。 简介 给定一个输入x\mathbf{x}x,我们想要确定它属...
  • Spark 分布式实现贝叶斯判别 贝叶斯公式 假设事件B1,B2...Bn是样本空间Ω的一个分割,且他们各自的概率为P(B1),P(B2),P(Bn)假设事件 B_1,B_2...B_n 是样本空间Ω的一个分割,且他们各自的概率为P(B_1),P(B_2),P(B_n...
  • 朴素贝叶斯判别法--Matlab

    千次阅读 2016-09-10 16:01:25
    load fisheriris %这是matlab自带的数据,朴素贝叶斯判别的例子 objbayes = NaiveBayes.fit(meas,species);%meas是训练样本 species是分类结果 pred = objbayes.predict(meas);%objbayes.predict预测类别归属 ...
  • 一篇基于肤色模型和贝叶斯判别的人脸检测的论文,有智能识别方面知识的朋友不妨参考一下!
  • 机器学习(一)贝叶斯判别式 2018/2/13 by Chenjing Ding 符号 含义 CkCkC_k 第k类 p 概率密度 P(Ck)P(Ck)P(C_k) 第k类的概率。本文中的概率密度和概率在公式推导时已严格区分 x 输入...
  • 贝叶斯判别程序

    2013-05-17 13:42:20
    数学判别 discriminiant.bayes (TrnX1, TrnX2, rate=1, TstX = NULL, var.equal = FALSE){ if (is.null(TstX) == TRUE) TstX(TrnX1,TrnX2) if (is.vector(TstX) == TRUE) TstX(as.matrix(TstX)) else if (is....
  • 从贝叶斯公式到贝叶斯判别准则

    千次阅读 2018-07-26 17:27:20
    原来线性判别分析、平方判别分析、朴素贝叶斯这么简单直白。 前方将出现大量数学公式推导证明,为防止烦躁不适,先复习一下几个重要概念。 1.1一维高斯变量X~N(μ,),则概率密度函数   1.2多维高斯变量 ,X~N(μ...
  • 贝叶斯判别原则又是干什么的? 模式识别的目的就是要确定某一个给定的模式样本属于哪一类。 可以通过对被识别对象的多次观察和测量,构成特征向量,并将其作为某一个判决规则的输入,按此规则来对样本进行分类。 ...
  • 判别分析中,至少有一个已经明确知道类别的“训练样本”,利用这个数据,就可以建立判别准则,并通过预测变量来为未知类别的观测值进行判别了。 所谓Fisher判别法,就是一种先投影的方法。 考虑只有两个(预测)...
  • 贝叶斯判别法做了,中途报了以下错误: >> ObjBayes=NaiveBayes.fit(training,group); ??? Error using ==> NaiveBayes.fit>gaussianFit at 535 The within-class variance in each feature of TRAINING must be ...
  • 首先引入稀疏贝叶斯学习机对上下文模型中图像特 征的后验概率进行建模, 然后通过贝叶斯原理将稀疏贝叶斯模型与隐马尔可夫模型结合, 提出一种能够实现上下文 场景识别模型的判别学习方法. 在真实场景数据库上...
  • 1.前言朴素贝叶斯的原理比较简单,在这我简单的推导一下公式的由来。假设我们的X有五个特征分别为x1,x2,x3,x4,x5。则有在朴素贝叶斯算法中,它假设了这五个变量之间是相互独立的:则上式可化简为:而我们需要计算的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,535
精华内容 614
关键字:

贝叶斯判别