精华内容
下载资源
问答
  • 在风险相同时,最小错误率贝叶斯决策的准确率等于最小风险贝叶斯决策的准确率,即最小错误率贝叶斯决策是最小风险贝叶斯决策的一个特例。本文在matlab平台上对最小错误率贝叶斯决策和最小风险贝叶斯决策进行测试,...
  • 贝叶斯决策例程

    2018-12-23 09:12:38
    贝叶斯决策(Bayesian Decision Theory)就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。 贝叶斯决策属于风险型决策,决策者虽...
  • 最小错误率贝叶斯决策和最小风险贝叶斯决策matlab代码,贝叶斯决策理论方法,是统计模式识别中的一个基本方法。贝叶斯决策判据,既考虑了各类参考总体出现的概率大小,又考虑了因误判造成的损失大小,判别能力强。
  • 课程作业:根据数据判定是否去打网球的贝叶斯决策。Design a program to calculate for any values of basd on the data in Table 1.
  • 完全自己打码,实现了基于Matlab 实现二维正态分布贝叶斯决策面可视化,包括线性与非线性决策面; 三种情况:①∑1 = ∑2 = σ^2*I,②∑1 = ∑2 ≠ σ^2*I,③∑1 ≠ ∑2。
  • 山东大学计算机科学与技术学院机器学习课程的实验报告
  • 计算男女身高,非常强大的matlab编程实现贝叶斯程序,可直接使用,模式识别
  • 最简单的贝叶斯决策,已知先验概率和类条件概率密度,根据一个特征进行分类。(不是很高级的代码,但是能够帮助理解贝叶斯决策
  • 模式识别实例:包括最小错误率、最小风险贝叶斯决策matlab代码,注释清楚丰富。
  • 基于最小错误贝叶斯决策对细胞异常与否的分析,.m文件,代码框架明确,备注清晰,有利于学习,可直接更改数据及参数用于其他方面的分析。
  • 贝叶斯决策方法

    2018-05-22 23:08:11
    贝叶斯决策论为机器学习的一种重要方法贝叶斯决策:根据各种事件发生的先验概率进行决策一般具有较大的风险。减少这种风险的办法是通过科学实验、调查、统计分析等方法获得较为准确的情报信息,以修正先验概率。利用...
  • 车辆需要在车联网的异构无线网络环境下进行垂直切换,针对垂直切换技术普遍不能支持 WAVE, WiMAX和3G cellular间的垂直切换这一问题,提出了一种基于贝叶斯决策的垂直切换算法。首先,根据接入网络的信号强度、传输...
  • 基于最小风险贝叶斯决策对细胞异常与否的分析,.m文件,代码框架明确,备注清晰,有利于学习,可直接更改数据及参数用于其他方面的分析。
  • 用FAMALE.TXT和MALE.TXT的数据作为训练样本集,建立Bayes分类器,用测试样本数据对该分类器进行测试。调整特征、分类器等方面的一些因素,考察它们对分类器性能的影响,从而加深对所学内容的理解和感性认识。
  • 贝叶斯决策包含最小风险和最小错误概率两种情况的仿真MATLAB代码
  • 第五章贝叶斯决策.ppt

    2021-05-25 23:57:15
    第一节 贝叶斯决策问题 第二节 后验风险决策 第三节 常用损失函数下的贝叶斯估计 第四节 抽样信息期望值 第五节 最佳样本量的确定 第六节 二行动线性决策问题的EVPI
  • 贝叶斯决策

    2020-04-26 15:27:37
    使用MATLAB 基于贝叶斯决策的图像分割 OpenCV下载使用 VS配置openCV教程 python实现 使用MATLAB 基于贝叶斯决策的Nemo鱼像素点分类 参数方法 灰度图像分割 clc clear all %load array_sample and Mask data sample=...

    使用MATLAB 基于贝叶斯决策的图像分割

    OpenCV下载使用

    VS配置openCV教程

    python实现

    使用MATLAB 基于贝叶斯决策的Nemo鱼像素点分类

    参数方法

    灰度图像分割
    clc
    clear all
    %load array_sample and Mask data
    sample=cell2mat(struct2cell(load('C:\Users\Tony Stack\Desktop\第二次大作业\array_sample')));
    Mask=cell2mat(struct2cell(load('C:\Users\Tony Stack\Desktop\第二次大作业\Mask.mat')));
    %Load imgage
    I=im2double(imread('C:\Users\Tony Stack\Desktop\第二次大作业\309.bmp'));
    Ig=im2double(rgb2gray(I));%灰色图片
    nemo_gray=Ig.*Mask;%灰色nemo
    imshow(nemo_gray)
    %%参数计算及pdf的确定
    %提取两类灰度样本
    j=1;
    for i=1:length(sample)
        if(sample(i,5)==1)
            sample_gray1(i)=sample(i,1);
        else
            sample_gray2(j)=sample(i,1);
            j=j+1;
        end
    end
    %计算先验概率
    p1=length(sample_gray1)/length(sample);
    p2=length(sample_gray2)/length(sample);
    %计算两类灰度样本的mu和sigma
    %使得似然函数偏导为0
    mu1=1/length(sample_gray1)*sum(sample_gray1(:));
    A1=(sample_gray1-mu1).^2;
    sigma1=sqrt(1/length(sample_gray1)*sum(A1(:)));
    mu2=1/length(sample_gray2)*sum(sample_gray2(:));
    A2=(sample_gray2-mu2).^2;
    sigma2=sqrt(1/length(sample_gray2)*sum(A2(:)));
    % %plot 两类pdf
    % figure()
    % fplot(@(x)normpdf(x,mu1,sigma1),[0,1]),hold on
    % fplot(@(x)normpdf(x,mu2,sigma2),[0,1])
    % title ('pdf')
    % legend('sample gray1','sample gray2')
    
    %%gray segment
    [M,N]=size(Ig);%灰度图像大小
    Gray=reshape(nemo_gray,M*N,1);
    for i=1:M*N
        if Gray(i)==0
            out(i)=0;
        else
            %判别函数
            g1=p1*normpdf(Gray(i),mu1,sigma1);
            g2=p2*normpdf(Gray(i),mu2,sigma2);
            if (g1>g2)
                out(i)=255;
            else
                out(i)=0;
            end
        end
    end
    gray_segment=reshape(out,[M,N]);
    figure()
    imshow(gray_segment)
    title('gray segmented image')
    
    

    results:
    在这里插入图片描述

    彩色图像分割
    clc
    clear all
    %load array_sample and Mask data
    sample=cell2mat(struct2cell(load('C:\Users\Tony Stack\Desktop\第二次大作业\array_sample')));
    Mask=cell2mat(struct2cell(load('C:\Users\Tony Stack\Desktop\第二次大作业\Mask.mat')));
    %Load imgage
    I=im2double(imread('C:\Users\Tony Stack\Desktop\第二次大作业\309.bmp'));
    nemo=I.*Mask;%彩色nemo
    imshow(nemo)
    %提取两类RGB样本
    j=1;
    for i=1:length(sample)
        if(sample(i,5)==1)
            RGB1(i,1:3)=sample(i,2:4);
        else
            RGB2(j,1:3)=sample(i,2:4);
            j=j+1;
        end
    end
    %计算先验概率
    p1=length(RGB1)/length(sample);
    p2=length(RGB2)/length(sample);
    %确定pdf的参数
    mu1=mean(RGB1);
    mu2=mean(RGB2);
    %协方差矩阵
    delta1=cov(RGB1);
    delta2=cov(RGB2);
    %分割彩色图像
    [M,N,H]=size(I);%彩色图像大小
    Color=reshape(nemo,M*N,3)';
    %plot pdf
    for i=1:M*N
        if(Color(:,i)==[0;0;0])
             out(:,i)=[0;0;0];
        else
          g1=p1*mvnpdf(Color(:,i)',mu1,delta1);
          g2=p2*mvnpdf(Color(:,i)',mu2,delta2);
           if(g1>=g2)
           out(:,i)=[1,0,0];
           else
           out(:,i)=[0,0,1]; 
           end
        end 
    end
    Color_segmented=reshape((out)',M,N,H);
    figure()
    imshow(Color_segmented)
    title('color segmented image')
    

    results:
    在这里插入图片描述

    展开全文
  • 提出了一种利用BP神经网络仿真、利用贝叶斯决策修正仿真结果的人脸检测方法。讨论了单纯使用BP神经网络作人脸的检测判定的不足,并在此基础上提出利用贝叶斯决策对神经网络的仿真结果进行第二次判定的方法。共使用...
  • 最小风险贝叶斯决策,MATLAB代码,有多个举例代码
  • 随机决策理论-贝叶斯决策与马尔可夫决策-xsd (1).pptx
  • 熟悉和掌握贝叶斯决策理论,并利用贝叶斯决策理论的相关知识实现手写数字的识别算法,并分析主要参数变化对于识别结果的影响。 参考博客:https://blog.csdn.net/weixin_43442778/category_9481732.html
  • 在对之前的相关反馈技术的问题和不足进行总结的基础上,提出一种基于最小风险的贝叶斯决策理论相关反馈方法,通过一种自适应机制产生记忆,同时应用最小风险来使用户获得满意的检索结果。实验结果表明该方法准确率高...
  • 预测与决策课件:第四章 抽样信息与贝叶斯决策.ppt
  • 第22卷第5期122 2006年 5月农业工程学报TransactionsoftheCSAEV01.22No.5May2006基于最小错误率贝叶斯决策的苹果图像分割包晓敏,汪亚明(浙江理工大学信息电子
  • 贝叶斯决策分类器

    2018-04-03 10:52:43
    分类器贝叶斯决策的基础讲解PPT,简单易懂。易于上手。
  • 论文研究-贝叶斯决策的影响图分析方法.pdf, 对一般的贝叶斯决策问题, 常用的求解手段是决策树分析方法。本文则用影响图分析方法对贝叶斯决策问题进行表征和求解, 并将两...
  • 我们研究了贝叶斯代理在通过网络交换意见时进行的计算。 代理人根据他们的私人信息反复采取行动,并根据完全理性的后验信念采取短视行动,最大化他们的预期效用。 我们表明这种计算对于两个自然效用函数是 NP-hard ...
  • 基于贝叶斯决策的物体识别,根据物体的颜色来进行物体识别
  • 改进贝叶斯决策,提出了基于随机变量的较小错误分类决策方法;针对邮件处理的特殊性,进一步提出了基于随机变量的较小风险分类决策方法。实验结果表明,处理普通文本分类问题时,前者的分类决策效果更好;而后者在...
  • 本文主要讲述作为监督模式识别理论基础的贝叶斯决策理论及典型决策方法,包括在正态分布下的决策函数形式,并通过实例介绍了离散情况下用马尔科夫模型进行统计决策的方法。 1 硬币引例引出相关概念 分类可以看作...

    本文主要讲述作为监督模式识别理论基础的贝叶斯决策理论及典型决策方法,介绍了最小错误率贝叶斯决策、最小风险贝叶斯决策和在控制一类错误率的情况下使另一类错误率尽可能小的 Neyman-Pearson 决策的方法等。

    目录

    1 硬币引例引出相关概念

    1.1 先验概率

    1.2 后验概率

    1.3 基于贝叶斯公式的后验概率

    1.4 贝叶斯决策

    1.5 错误率及错误概率的期望

    2 最小错误率贝叶斯决策

    2.1 理论介绍

    2.2 例题实战

    3 最小风险贝叶斯决策

    3.1 理论介绍

    3.2 例题实战

    4 两类错误率

    5 Neyman-Pearson 决策规则

    6 总结


    统计决策的基本原理就是根据各类特征的概率模型来估算后验概率,通过比较后验概率进行决策。而通过贝叶斯公式,后验概率的比较可以转化为类条件概率密度的比较,离散情况下也是类条件概率的比较,而这种条件概率或条件密度则反映了在各类的模型下观察到当前样本的可能性或似然度,因此可以定义两类之间的似然比或对数似然进行决策。
    根据面对的具体问题不同,各类特征的概率模型可能会变得非常复杂,但是基本的求解步骤和决策原理是一致的。

    1 硬币引例引出相关概念

    分类可以看作是一种决策,即我们根据观测对样本做出应归属哪一类的决策。

    本文先从硬币分类实例入手,介绍统计决策方法的相关概念。

    1.1 先验概率

    假定我手里握着握着一枚硬币,让你猜是多少钱的硬币,这其实就看以看作是一个分类决策问题:你需要从各种可能的硬币中做出一个决策。如果我只告诉你这枚硬币只可能是一角或者五角,这就是一个两类的分类问题。

    在没有任何信息的情况下,有人可能猜测这是一枚一角的硬币,因为他在最近一段时间接触到的一角硬币比五角的硬币多,因此他觉得更可能是一角。这就是一种决策。事实上,这个决策过程是由理论依据的:它是通过对最近所接触过的硬币做出的粗略分类,然后据此选择的概率较大的决策。

    如果将上述文字用数学表达,即把硬币记做 x,把一角和五角硬币这两类分别记做 \omega _{1} 和 \omega _{2},用 {\color{Red} P(\omega _{1})} 和 {\color{Red} P(\omega _{2})} 分别表示两类的概率(即先验概率),这一决策可以表示为
                                         如果 P(\omega _{1})> P(\omega _{2}),则 x\in \omega _{1};反之,则 x\in \omega _{2}

    只有两类的情况下,P(\omega _{1})+P(\omega _{2})=1

    如果决策 x\in \omega _{1},那么犯错误的概率就是 P(error)=1-P(\omega _{1})=P(\omega _{2}),反之亦然。

    1.2 后验概率

    上面说的概率是在没有对样本进行任何观测情况下的概率,所以叫做先验概率(a priori probability)。

    下面仍然不允许看硬币,但是允许你用天平来称量硬币的重量,让你根据重量来做决策。

    把硬币的重量仍即记为 x,对两类硬币分别记做 {\color{Red} P(\omega _{1}\mid x)} 和 {\color{Red} P(\omega _{2}\mid x)},这种概率处称为后验概率(a posterior probability)。这时的决策应该是
                                         如果 P(\omega _{1}\mid x)> P(\omega _{2}\mid x),则 x\in \omega _{1};反之,则 x\in \omega _{2}      

    同样,只有两类的情况下,P(\omega _{1}\mid x)+P(\omega _{2}\mid x)=1

    如果决策 x\in \omega _{1},那么犯错误的概率就是 P(error)=1-P(\omega _{1}\mid x)=P(\omega _{2}\mid x),反之亦然。

    1.3 基于贝叶斯公式的后验概率

    根据概率论中的贝叶斯公式(Bayes'formula 或 Bayesian Theorem),有

                                           {\color{Red} P(\omega _{i}\mid x)=\frac{p(x,\omega _{i})}{p(x)}=\frac{p(x\mid \omega _{i})p(\omega _{i})}{p(x)}, \; \; \; i=1,2}

    其中,P(\omega _{i}) 是先验概率;
               P(x,\omega _{i}) 是 x 与 \omega _{i} 的联合概率密度;
               p(x) 是两类所有硬币重量的概率密度,称为总体密度;
               p(x\mid \omega _{i}) 是第 i 类硬币重量的概率密度,称为类条件密度。

    这样,后验概率就转换成了先验概率与类条件密度的乘积,再用总体密度进行归一化

    事实上,上式分解的后验概率中分母部分是总体密度,对于两类没有区别,因此只需要比较分子上的两项就可以了,即比较先验概率和类条件密度的乘积,决策准则如下:
                                           如果 P(x\mid \omega _{1})P(\omega _{1})> P(x\mid \omega _{2})P(\omega _{2}),则 x\in \omega _{1};反之,则 x\in \omega _{2}             

    1.4 贝叶斯决策

    这就是贝叶斯决策:在类条件概率密度和先验概率已知(或可以估计)的情况下,通过贝叶斯公式比较样本属于两类的后验概率,将类别决策为后验概率大的一类,这样做的目的是为了使总体错误率最小。

    贝叶斯决策理论也称作统计决策理论。

    1.5 错误率及错误概率的期望

    任一决策都有可能会有错误,对两类问题,在样本 x 上的错误的概率为

                                             p(e\mid x)=\left\{\begin{matrix} P(\omega _{2}\mid x)\; \; \, \; \; \; if \;\; x\in \omega _{1} & & \\ P(\omega _{1}\mid x)\; \; \, \; \; \; if \;\; x\in \omega _{2} & & \end{matrix}\right.

    错误率定义为所有服从同样分布的独立样本上错误概率的期望,即

                                              P(e)=\int P(e\mid x)p(x)dx

    这里,用 \int \cdot \: dx 表示在特征 x(向量或标量)的全部取值空间做积分。

    在所有样本上做出正确决策的概率就是正确率,通常记作 P(c)。显然 P(c)=1-P(e)

    下面介绍几种常用的贝叶斯决策规则。

    2 最小错误率贝叶斯决策

    2.1 理论介绍

    在一般的模式识别问题中,人们往往希望尽量减少分类的错误,即目标是追求最小错误率。从最小错误率的要求出发,利用概率论中的贝叶斯公式,就能得出使错误率最小的分类决策,称之为最小错误率贝叶斯决策

    最小错误率就是求解一种决策规则,使错误概率的期望最小化,即
                                                minP(e)=\int P(e\mid x)p(x)dx

    对于所有 xP(e\mid x)\geqslant 0,p(x)\geqslant 0,所以上式等价于对所有 x 最小化 P(e\mid x)

    使错误率最小的决策就是使后验概率最大的决策,因此,对于两类问题,得到如下决策规则:
                                                如果 P(\omega _{1}\mid x)> P(\omega _{2}\mid x),则 x\in \omega _{1};反之,则 x\in \omega _{2}
    或简记作
                                                如果 P(\omega _{1}\mid x)\begin{matrix} > \\ < \end{matrix} P(\omega _{2}\mid x),则 x\in \left\{\begin{matrix} \omega _{1}\\ \omega _{2} \end{matrix}\right.

    这就是最小错误率贝叶斯决策。(注:在无特殊说明下的贝叶斯决策通常就是指最小错误率贝叶斯决策)

    其中,后验概率用贝叶斯公式求得

                                                {\color{Red} P(\omega _{i}\mid x)=\frac{p(x\mid \omega _{i})P(\omega _{i})}{p(x)}=\frac{p(x\mid \omega _{i})P(\omega _{i})}{\sum_{j=1}^{2}p(x\mid \omega _{j})P(\omega _{j})},\; \; \; i=1,2}

    最小错误率贝叶斯决策规则可以表示成多种鞥等价的形式:

    (1)若 P(\omega _{i}\mid x)=\underset{j=1,2}{max}P(\omega _{j}\mid x),则  x\in \omega _{i}

    (2)若 P(x\mid \omega _{i})P(\omega _{i})=\underset{j=1,2}{max}P(x\mid \omega _{j})P(\omega _{j}),则  x\in \omega _{i}

    (3)若 l(x)=\frac{p(x\mid \omega 1)}{p(x\mid \omega 2)}\begin{matrix} >\\ < \end{matrix}\; \lambda =\frac{P(\omega _{2})}{P(\omega _{1})},则 x\in \left\{\begin{matrix} \omega _{1}\\ \omega _{2} \end{matrix}\right.

    (4)定义对数似然比 h(x)=-ln[l(x)]=-lnp(x\mid \omega _{1})+lnp(x\mid \omega _{2})
             若 h(x)\begin{matrix} < \\ > \end{matrix}ln\frac{P(\omega _{1})}{P(\omega _{2})},则 x\in \left\{\begin{matrix} \omega _{1}\\ \omega _{2} \end{matrix}\right.

    2.2 例题实战

    例1 假设在某个局部地区细胞识别中正常(\omega _{1})和异常(\omega _{2})两类的先验概率分别为
                           正常状态    P(\omega _{1})=0.9
                           异常状态    P(\omega _{2})=0.1
    现有一待识别的细胞,其观察值为 x,从类条件概率密度曲线上分别查得
                            p(x\mid \omega _{1})=0.2
                            p(x\mid \omega _{2})=0.4
    试对该细胞 x 进行分类。

    :利用贝叶斯公式,分别计算出 \omega _{1} 和 \omega _{2} 的后验概率
                             P(\omega _{1}\mid x)=\frac{p(x\mid \omega _{1})P(\omega _{1})}{\sum_{j=1}^{2}p(x\mid \omega _{j})P(\omega _{j})}=\frac{0.2\times 0.9}{0.2\times 0.9+0.4\times 0.1}=0.818
                              P(\omega _{2}\mid x)=1-P(\omega _{1}\mid x)=0.182
            根据贝叶斯决策规则式,因为
                              P(\omega _{1}\mid x)=0.818> P(\omega _{2}\mid x)=0.182
            所以合理的决策是把 x 归类于正常状态。

    3 最小风险贝叶斯决策

    3.1 理论介绍

    现在再回到猜硬币那个简单地例子上来。前面给出的是在最小错误率的原则下得到的决策规则,但是,根据具体的场合不同,我们应关心的有可能不仅仅是错误率,而是错误率带来的损失:毕竟,把一角误认为是五角与把五角误认为是一角带来的损失是不同的。

    所谓最小风险贝叶斯决策,就是考虑各种错误造成损失不同时的一种最优决策。

    下面用决策论的概念把问题表述一下:
    (1)把样本 x 看做 d 维随机向量 x=[x_{1},x_{2},...,x_{d}]^{T}
    (2)状态空间 \Omega 由 c 个可能的状态(c 类)组成:\Omega =\left\{\begin{matrix} \; \end{matrix}\right.\omega _{1},\omega _{2},...,\omega _{c}\left.\begin{matrix} \; \end{matrix}\right\}
    (3)对随机向量 x 可能采取的决策组成了决策空间,它由 k 决策组成
                                  \wp =\left\{\begin{matrix} \; \end{matrix}\right.\alpha _{1},\alpha _{2},...,\alpha _{k}\left.\begin{matrix} \; \end{matrix}\right\}
             值得注意的是,这里没有假定 k=c。这是更一般的情况,比如,有时除了判别为某一类外,对某些样本还可以做出拒绝的决策,即不能判断属于任何一类;有时也可以在决策时把几类合并为同一个大类,等等。
    (4)设对于实际状态为 \omega _{j} 的向量 x,采取决策 \alpha _{i} 所带来的损失为
                                  \lambda (\alpha _{i},\omega _{j}),\; i=1,...,k,\; j=1,...,c
              称作为损失函数。通常它可以用表格的形式给出,叫做决策表。在实际应用中需要根据问题的背景知识确定合理的决策表。

    对于某个样本 x,它属于各个状态的后验概率是 P(\omega _{j}\mid x),j=1,...,c,对它采取决策 \alpha _{i},i=1,...,k 的期望损失是
                                  R(\alpha _{i}\mid x)=E[\lambda (\alpha _{i,\omega _{j}})\mid x]=\sum_{j=1}^{c}\lambda (\alpha _{i},\omega _{j})P(\omega _{j}\mid x),\: \: i=1,...,k
    设有某一决策规则 \alpha (x),它对特种空间中所有可能的样本 x 采取决策所造成的期望损失是
                                   R(\alpha )=\int R(\alpha (x)\mid x)\: p(x)dx
    (注:R(\alpha (x)\mid x) 和 p(x) 都是非负的,且 \: p(x) 是已知的,与决策准则无关。要使积分和最小,就是要对所有 x 都使 R(\alpha (x)\mid x) 最小)

    R(\alpha ) 称作平均风险或期望风险。最小风险贝叶斯决策就是最小化这一期望风险,即
                                                   \underset{\alpha }{min}R(\alpha )

    对于一个实际问题,对样本 x,最小风险贝叶斯决策可以按照如下步骤计算:

    (1)利用贝叶斯公式计算后验概率
                                     P(\omega _{j}\mid x)=\frac{p(x\mid \omega _{j})P(\omega _{j})}{\sum_{i=1}^{c}p(x\mid \omega _{i})P(\omega _{i})},\; \; \; i=1,...,c
    (2)利用决策表,计算条件风险
                                     R(\alpha _{i}\mid x)=\sum_{j=1}^{c}\lambda (\alpha _{i},\omega _{j})P(\omega _{j}\mid x),\: \: i=1,...,k
    (3)决策:在各种决策中选择风险最小的决策,即
                                      \alpha =arg\underset{i=1,...k}{min}R(\alpha _{i}\mid x)

    特别地,在实际是两类且决策也是两类的情况下(没有拒绝),最小风险贝叶斯决策为
                                       若 \lambda _{11}P(\omega _{1}\mid x)+\lambda _{12}P(\omega _{2}\mid x)\begin{matrix} < \\ > \end{matrix}\lambda _{21}P(\omega _{1}\mid x)+\lambda _{22}P(\omega _{2}\mid x),则 x\in \left\{\begin{matrix} \omega _{1}\\ \omega _{2} \end{matrix}\right.

    其中,\lambda _{12}=\lambda (\alpha _{1},\omega _{2}) 是把属于第 2 类的样本分为第 1 类时的损失,
               \lambda _{21}=\lambda (\alpha _{2},\omega _{1}) 是把视域第 1 类的样本分为第 2 类时的损失,
               \lambda _{11}=\lambda (\alpha _{1},\omega _{1}),\lambda _{22}=\lambda (\alpha _{2},\omega _{2}) 是决策正确时的损失。通常,\lambda _{11}=\lambda _{22}=0;不失一般性,我们可以假设\lambda _{11}< \lambda _{21},\lambda _{22}< \lambda _{12}

    很显然,当 \lambda _{11}=\lambda _{22}=0,\lambda _{12}=\lambda _{21}=1 时,最小风险贝叶斯决策就转化成最小错误率贝叶斯决策。可以把最小错误率贝叶斯决策看作是最小风险贝叶斯决策的特例。

    事实上,在多类情况下,如果这种 0-1 决策表,即决策与状态相同则损失为 0、不同则损失为 1,那么最小风险贝叶斯决策也等价于最小错误率贝叶斯决策。

    3.2 例题实战

    例2 在例1给出的条件的基础上,利用下面的决策表,按最小风险贝叶斯决策进行分类。

    决策状态
    \omega _{1}\omega _{2}
    \alpha _{1}06
    \alpha _{2}10

    :已知条件为
                               P(\omega _{1})=0.9P(\omega _{2})=0.1
                               p(x\mid \omega _{1})=0.2p(x\mid \omega _{2})=0.4
                               \lambda _{11}=0,\lambda _{12}=6,\lambda _{21}=1,\lambda _{22}=0
            根据例 1 计算结果可知后验概率为
                                P(\omega _{1}\mid x)=0.818,P(\omega _{2}\mid x)=0.182
            再计算出条件风险
                                 R(\alpha _{1}\mid x)=\sum_{j=1}^{2}\lambda _{1j}P(\omega _{j}\mid x)=\lambda _{12}P(\omega _{2}\mid x)=1.092
                                 R(\alpha _{2}\mid x)=\lambda _{21}P(\omega _{1}\mid x)=0.818
            由于
                                  R(\alpha _{1}\mid x)> R(\alpha _{2}\mid x)
            即决策为 \omega _{2} 的条件风险小于决策为 \omega _{1} 的条件风险,因此我们采取决策行动 \alpha _{2},即判断待识别的细胞 x 为 \omega _{2} 类——异常细胞。

    可以看到,同样的数据,因为对两类错误所带来的的风险的认知不同,这里得出了与例1中相反的结论。

    需要指出,最小风险贝叶斯决策中的决策表是需要人为确定的,决策表不同会导致决策结果的不同。因此,在实际应用中,需要认真分析所研究问题的内在特点和分类的目的,与应用领域的专家共同设计出适当的决策表,才能保证模式识别发挥有效的作用。

    4 两类错误率

    下面进一步研究两类情况下的错误率问题。

    之所以引入决策表,是因为不同情况的分类错误所带来的的损失是不同的。在很多实际的两类问题中两类并不是同等的。

    状态与决策的可能关系
    决策状态
    阳性阴性
    阳性真阳性(TP)假阳性(FP)
    阴性假阴性(FN)真阴性(TN)

    第一类错误率假阳性率)往往用 {\color{Red} \alpha} 表示,指真实的阴性样本中被错误判断为阳性的比例;
                                                  {\color{Red} \alpha =} 假阳性样本数 {\color{Red} /} 总阴性样本数
    第二类错误率假阴性率)往往用 {\color{Red} \beta} 表示,指真实的阳性样本中被错误判断为阴性的比例;
                                                  {\color{Red} \beta =} 假阴性样本数 {\color{Red} /} 总阳性样本数
    灵敏度(sensitivity)往往用 {\color{Red} Sn} 表示;
                                                   {\color{Red} Sn=\frac{TP}{TP+FN}}
    特异度(specificity)往往用 {\color{Red} Sp} 表示;
                                                   {\color{Red} Sp=\frac{TN}{TN+FP}}
    精度往往用 {\color{Red} P} 表示;
                                                   {\color{Red} P=\frac{TP}{TP+FP}}
    准确率{\color{Red} =\frac{TP+TN}{TP+FP+TN+FN}}

    值得注意的是,把第一类错误与第二类错误的叫法是由把两类中的哪一类看作是阳性、哪一类看作是阴性决定的,实际应用中需要根据具体的情况决定。在最小风险贝叶斯决策中,实际就是通过定义两类错误不同的相对损失来取得二者之间的折中。

    5 Neyman-Pearson 决策规则

    在某些应用中,有时希望保证某一类错误率为一个固定的水平,在此前提下在考虑另一类错误率尽可能低。比如,如果检测处某一目标或者诊断出某种疾病非常重要,可能会要求确保漏报率达到某一水平 \varepsilon _{0},在此前提下在追求误警率即地一类错误率尽可能低(特异性尽可能高)。

    现令 \omega _{1} 类是阴性、\omega _{2} 类是阳性。

    第一类错误率是 P_{1}(e)=\int _{R_{2}}p(x\mid \omega _{1})dx

    第二类错误率是P_{2}(e)=\int _{R_{1}}p(x\mid \omega _{2})dx

    (注:其中 R_{1}R_{2} 分别是第一、二类的决策域,且 R_{1}+R_{2}=1,两个决策区域之间的边界称作决策边界或分界面(点)t

    于是所谓“固定一类错误率、使另一类错误率尽可能小”的决策可表示为

                               min\; P_{1}(e)
                               s.t.\; P_{2}(e)-\varepsilon _{0}=0

    进一步来讲,可以用拉格朗日乘子法把上式的有约束极值问题转化为(\lambda 是拉格朗日乘子)

                               min\; \gamma =P_{1}(e)+\lambda (P_{2}(e)-\varepsilon _{0})

    考虑到概率密度函数的性质,有

                               \int _{R_{2}}p(x\mid \omega _{1})dx=1-\int _{R_{1}}p(x\mid \omega _{1})dx

    再根据平均错误率
                               P_{1}(e)=\int _{R_{2}}p(x\mid \omega _{1})dx
                               P_{2}(e)=\int _{R_{1}}p(x\mid \omega _{2})dx

    可以得到

                                \gamma =\int _{R_{2}}p(x\mid\omega _{1})dx+\lambda[\int _{R_{1}}p(x\mid\omega _{2})dx-\varepsilon _{0}]
                                    =(1-\lambda\varepsilon _{0})+\int _{R_{1}}[\lambda\: p(x\mid\omega _{2})-p(x\mid\omega _{1})]dx

    优化的目标是求解使上式最小的决策边界 t,将上式分别对 \lambda 和分界面 t 求导,在 \gamma 的极值处这两个导数都应该是 0
    由此可得,在决策边界上应该满足

                                \lambda =\frac{p(x\mid \omega _{1})}{p(x\mid \omega _{2})}

    应选择 R_{1} 使积分项内全部负值,因此 R_{1} 应该是所有使

                                \lambda p(x\mid \omega _{2})-p(x\mid \omega _{1})< 0

    成立的 x 组成的区域。所以决策规则是

                               若 l(x)=\frac{p(x\mid \omega _{1})}{p(x\mid \omega _{2})}\begin{matrix} \; > \\ < \end{matrix}\; \lambda,则 x\in \left\{\begin{matrix} \omega _{1}\\ \omega _{2} \end{matrix}\right.

    其中 \lambda 是使决策区域满足上式的阈值。这种在限定一类错误率为常数而使另一类错误率最小的决策规则称作 规则。

    6 总结

    不难发现,最小错误率贝叶斯决策、最小风险贝叶斯决策、Neyman-Pearson 决策的区别只是在于决策阈值的不同,采用不同的阈值,就能达到错误率的不同情况。

    最小错误率贝叶斯决策:采用先验概率比作阈值,达到总的错误率最小,即两类错误率之加权和最小;

                                若 l(x)=\frac{p(x\mid \omega 1)}{p(x\mid \omega 2)}\begin{matrix} >\\ < \end{matrix}\; \lambda =\frac{P(\omega _{2})}{P(\omega _{1})},则 x\in \left\{\begin{matrix} \omega _{1}\\ \omega _{2} \end{matrix}\right.

    最小风险贝叶斯决策:其阈值考虑了对两类错误率不同的惩罚,实现风险最小;

                                若 l(x)=\frac{p(x\mid \omega _{1})}{p(x\mid \omega _{2})}\begin{matrix} \; > \\ < \end{matrix}\frac{P(\omega _{2})}{P(\omega _{1})}\cdot \frac{\lambda _{12}-\lambda _{22}}{\lambda _{21}-\lambda _{11}},则 x\in \left\{\begin{matrix} \omega _{1}\\ \omega _{2} \end{matrix}\right.

    Neyman-Pearson 决策:通过调整阈值,使一类的错误率为指定数值,而另一类的错误率求最小。

                                 若 l(x)=\frac{p(x\mid \omega _{1})}{p(x\mid \omega _{2})}\begin{matrix} \; > \\ < \end{matrix}\; \lambda,则 x\in \left\{\begin{matrix} \omega _{1}\\ \omega _{2} \end{matrix}\right.

    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 43,019
精华内容 17,207
关键字:

贝叶斯决策