精华内容
下载资源
问答
  • kappa系数
    万次阅读
    2020-05-26 16:25:06

    kappa系数是统计学中度量一致性的指标, 值在[-1,1]. 对于评分系统, 一致性就是不同打分人平均的一致性; 对于分类问题,一致性就是模型预测结果和实际分类结果是否一致. kappa系数的计算是基于混淆矩阵, 取值为-1到1之间, 通常大于0.

    kappa值含义:

    -1:完全不一致
    0: 偶然一致
    0.0~0.20: 极低的一致性(slight)
    0.21~0.40: 一般的一致性(fair)
    0.41~0.60: 中等的一致性(moderate)
    0.61~0.80: 高度的一致性(substantial)
    0.81~1: 几乎完全一致(almost perfect)

    简单kappa

    下面的表格是真实类别和预测类别的混淆矩阵, 其中 a i j a_{ij} aij表示真实为 i i i预测为 j j j的样本数量. N N N为样本总量. a i + = ∑ j a i j ,   a + j = ∑ i a i j . a_{i+}=\sum_{j} a_{ij}, \, a_{+j}=\sum_{i} a_{ij}. ai+=jaij,a+j=iaij.

    类别1类别2类别3总计
    类别1 a 11 a_{11} a11 a 12 a_{12} a12 a 13 a_{13} a13 a 1 + a_{1+} a1+
    类别2 a 21 a_{21} a21 a 22 a_{22} a22 a 23 a_{23} a23 a 2 + a_{2+} a2+
    类别3 a 31 a_{31} a31 a 32 a_{32} a32 a 33 a_{33} a33 a 3 + a_{3+} a3+
    总计 a + 1 a_{+1} a+1 a + 2 a_{+2} a+2 a + 3 a_{+3} a+3 N N N

    kappa系数的数学表达:
    K = P o − P e 1 − P e K=\frac{P_o-P_e}{1-P_e} K=1PePoPe

    其中, P o P_o Po为预测的准确率, 也可理解为预测的一致性, P o = ∑ i = 1 3 a i i N P_o=\frac{\sum_{i=1}^{3} a_{ii} } {N} Po=Ni=13aii.
    P e P_e Pe表示偶然一致性, P e = ∑ i = 1 3 a i + ∗ a + i N 2 P_e=\frac{\sum_{i=1}^{3} a_{i+}*a_{+i} } {N^2} Pe=N2i=13ai+a+i.
    其实, 本人以为同用频(概)率来表示, 形式更加简洁.
    p i j = a i j / N p_{ij}=a_{ij}/ N pij=aij/N, p i + = a i + / N p_{i+}=a_{i+}/ N pi+=ai+/N, p + j = a + j / N p_{+j}=a_{+j} / N p+j=a+j/N, 则kappa系数为
    P o = ∑ i = 1 3 a i i N = ∑ i = 1 3 p i i , P_o=\frac{\sum_{i=1}^{3} a_{ii} } {N}=\sum_{i=1}^{3} p_{ii}, Po=Ni=13aii=i=13pii,
    P e = ∑ i = 1 3 a i + ∗ a + i N 2 = ∑ i = 1 3 p i + ∗ p + i . P_e=\frac{\sum_{i=1}^{3} a_{i+}*a_{+i} } {N^2}=\sum_{i=1}^{3} p_{i+}*p_{+i}. Pe=N2i=13ai+a+i=i=13pi+p+i.

    加权Kappa

    对于一些有序关系的级别得分, 使用上面简单的计算方法存在一些问题. 比如在疾病预判时, 假设病人是无病的, 一个医生预测为得病且特别严重, 另一个医生预测为得病且中度. 很明显, 第一个医生的预测结果更加不可接受. 所以, 我们要在计算kappa值时加入权重的概念, 以区分这种预测结果的后果程度.
    设有 m m m个类别, 记 w i j w_{ij} wij表示真实为 i i i预测为 j j j的权重. 加权kappa的数学计算公式为
    K = P o − P e 1 − P e = ∑ i = 1 m ∑ j = 1 m w i j p i j − ∑ i = 1 m ∑ j = 1 m w i j p i + p + j 1 − ∑ i = 1 m ∑ j = 1 m w i j p i + p + j K=\frac{P_o-P_e}{1-P_e}=\frac{ \sum_{i=1}^{m} \sum_{j=1}^{m} w_{ij}p_{ij} - \sum_{i=1}^{m} \sum_{j=1}^{m} w_{ij}p_{i+} p_{+j} } { 1- \sum_{i=1}^{m} \sum_{j=1}^{m} w_{ij}p_{i+} p_{+j} } K=1PePoPe=1i=1mj=1mwijpi+p+ji=1mj=1mwijpiji=1mj=1mwijpi+p+j
    一般地, w i i = 1 w_{ii}=1 wii=1. 若当 i , j i,j i,j不同时, w i j = 0 w_{ij}=0 wij=0, 就退化为上面简单的kappa.

    下面介绍几种常用的权重计算方法:
    设得分有序为 c 0 < c 1 < ⋯ < c m − 1 c_0<c_1<\cdots< c_{m-1} c0<c1<<cm1, 取值为 c i = i c_i=i ci=i.

    • 线性权重
      w i j = 1 − ∣ i − j ∣ m − 1 , w_{ij}=1-\frac{|i-j|}{m-1}, wij=1m1ij,
    • 二次权重
      w i j = 1 − ( i − j m − 1 ) 2 . w_{ij}=1-(\frac{i-j}{m-1})^2. wij=1(m1ij)2.

    参考文献
    [1] dandelion的博客 一致性检验 – Kappa 系数
    [2] 唐万,胡俊,张晖,吴攀,贺华.Kappa系数:一种衡量评估者间一致性的常用方法[J].上海精神医学,2015,27(01):62-67.

    更多相关内容
  • kappa系数

    千次阅读 2021-09-20 20:54:13
    Kappa系数用于一致性检验,也可以用于衡量分类精度,但kappa系数的计算是基于混淆矩阵的。 混淆矩阵的每一列代表了预测类别,每一列的总数表示预测为该类别的数据的数目;每一行代表了数据的真实归属类别,每一行的...

    Kappa系数用于一致性检验,也可以用于衡量分类精度,但kappa系数的计算是基于混淆矩阵的。

    混淆矩阵的每一列代表了预测类别,每一列的总数表示预测为该类别的数据的数目;每一行代表了数据的真实归属类别,每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目:,如图,

    第一行第一列中的43表示有43个实际归属第一类的实例被预测为第一类,同理,第一行第二列的2表示有2个实际归属为第一类的实例被错误预测为第二类,正确分类的样本数量之和=43+45+49,样本总数=43+2+0+5+45+1+2+3+49

    kapaa系数计算公式

    p0是每一类正确分类的样本数量之和除以总样本数,也就是总体分类精度。

    假设每一类的真实样本个数分别为a1,a2,...,aC,而预测出来的每一类的样本个数分别为b1,b2,...,bCb1,b2,...,bC,总样本个数为n

    如上图所示

    p0=(43+45+49)/(43+2+0+5+45+1+2+3+49)

    a1=45,a2=51,a3=54

    b1=50,b2=50,b3=50,带入pe公式计算得出pe

    然后将p0和pe带入k计算公式得出k

    kappa计算结果:-1~1,但通常kappa是落在 0~1 间,可分为五组来表示不同级别的一致性:0.0~0.20极低的一致性(slight)、0.21~0.40一般的一致性(fair)、0.41~0.60 中等的一致性(moderate)、0.61~0.80 高度的一致性(substantial)和0.81~1几乎完全一致(almost perfect)

    展开全文
  • 输入特征向量训练随机森林分类模型,并计算分类结果的Kappa系数,混淆矩阵,准确性,特异性和敏感性。
  • 遥感影像分类以后的精度评价,包括计算生产者精度、使用者精度、kappa系数
  • 科恩河童 cohen.py 用于计算 Cohen's kappa
  • 用混淆矩阵计算kappa系数

    千次阅读 2020-12-29 16:35:54
    视网膜病变识别与分类,看到人家除了特异性、敏感性、准确率、混淆矩阵以外,还用了加权kappa系数,所以了解一下kapp系数的知识,加权kappa还没找到更好的资料。。。 资料来源于百度百科词条——kappa系数 Kappa系数...

    从一篇论文——融合注意力机制和高效网络的糖尿病视网膜病变识别与分类,看到人家除了特异性、敏感性、准确率、混淆矩阵以外,还用了加权kappa系数,所以了解一下kapp系数的知识,加权kappa还没找到更好的资料。。。
    资料来源于百度百科词条——kappa系数
    Kappa系数用于一致性检验,也可以用于衡量分类精度,但kappa系数的计算是基于混淆矩阵的.
    kappa系数是一种衡量分类精度的指标。它是通过把所有地表真实分类中的像元总数(N)乘以混淆矩阵对角线(Xkk)的和,再减去某一类地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果,再除以总像元数的平方减去某一类地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果所得到的

    计算公式

    在这里插入图片描述
    在这里插入图片描述

    示例(这里的混淆矩阵用百度词条里的,但是好像我常用的是实际是下标,预测类别是上标,注意一下)

    在这里插入图片描述
    为了计算方便看懂,我重画了一下
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    结果分析

    kappa计算结果为-1-1,但通常kappa是落在 0~1 间,可分为五组来表示不同级别的一致性:0.0~0.20极低的一致性(slight)、0.21-0.40一般的一致性(fair)、0.41-0.60 中等的一致性(moderate)、0.61-0.80 高度的一致性(substantial)和0.81-1几乎完全一致(almost perfect)。

    matlab代码

    下面是我写的matlab代码仅供参考

    confusion_matrix=[239 21 16;
                      16 73 4;
                      6 9 280];
     [row col]=size(confusion_matrix);%获取矩阵的行和列
     fenleizhengque_yangben=diag(confusion_matrix);%分类正确的样本就是对角线上的值,这是一个列向量
     yangbenzongshu=sum(confusion_matrix(:));
     p0=sum(fenleizhengque_yangben)/yangbenzongshu;
    %  假设每一类的真实样本个数分别为a1,a2,...,aC,而预测出来的每一类的样本个数分别为b1,b2,...,bC
    %在百度词条里的图中,真实样本数就是按列求值,预测出来的样本就是按行求值 
    %这里按照kappa系数百度词条里的图来计算,但是我一般用的混淆矩阵图是反过来的。。。这里不管了。。。就用百度词条里的来算
    a=sum(confusion_matrix,1);%第2个参数为1是按列求值,把同一列的数加起来,这是行向量
    b=sum(confusion_matrix,2);%第2个参数为2是按行求值,把同一行的数加起来,这是列向量
    % 我常用的混淆矩阵是这样计算的,虽然结果没有改变。。。
    % a=sum(confusion_matrix,2);%第2个参数为2是按行求值,把同一行的数加起来,这是列向量
    % b=sum(confusion_matrix,1);%第2个参数为1是按列求值,把同一列的数加起来,这是行向量
    pe=(a*b)/(yangbenzongshu*yangbenzongshu); %行向量乘以列向量是一个数
    kappaxishu=(p0-pe)/(1-pe);
    

    python 代码好像蛮多的,这边顺便mark一下,没有试过,仅供参考
    代码来自 https://blog.csdn.net/qq_34107425/article/details/103692561?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control

    def eval_qwk_lgb_regr(y_true, y_pred):
      # Fast cappa eval function for lgb.
        dist = Counter(reduce_train['accuracy_group'])
        for k in dist:
            dist[k] /= len(reduce_train)
        reduce_train['accuracy_group'].hist()
        # reduce_train['accuracy_group']将会分成四组
        acum = 0
        bound = {}
        for i in range(3):
            acum += dist[i]
            bound[i] = np.percentile(y_pred, acum * 100)
    
        def classify(x):
            if x <= bound[0]:
                return 0
            elif x <= bound[1]:
                return 1
            elif x <= bound[2]:
                return 2
            else:
                return 3
    
        y_pred = np.array(list(map(classify, y_pred))).reshape(y_true.shape)
        return 'cappa', cohen_kappa_score(y_true, y_pred, weights='quadratic'), True
    
    

    关于加权kappa系数,其实我具体的还是没怎么搞明白,
    不过我找到了一篇说的很好的博客:https://blog.csdn.net/gltangwq/article/details/106357443
    感觉加权kappa就是赋予权重,博客中说的很好,如果一个病人没用病,但是一个医生A预测他得了重病,一个医生B预测他得了轻病,那么普通的kappa来说,他们都错了,错的程度一样,这显然不符合常识,而加权kappa可以说明A预测的错误更大,这样更符合常识,博客中也说了对于一些有序关系的级别得分,可见加权kappa适用于有序的关系,并不是说加权kappa和普通kappa就一定有哪个比较好。

    展开全文
  • Kappa系数和总体精度计算 Matlab实现
  • kappa系数作为一致性的衡量标准,在很多方面都有应用
  • (笔记)Kappa系数 & 混淆矩阵

    千次阅读 2022-02-24 11:03:10
    Kappa系数就经常被用于影像分类的空间一致性检验,是一种衡量分类精度的指标。 Section 1:Kappa系数的概念 Kappa系数是一个用于一致性检验的指标,也可以用于衡量分类的效果。 在分类问题中,一致性就是指...

    遥感图像的分类解译结果往往需要一定的精度评价指标进行精度验证,只有进行精度验证,我们才能知道分类解译的结果是否准确可靠。

    Kappa系数就经常被用于影像分类的空间一致性检验,是一种衡量分类精度的指标。

    Section 1:Kappa系数的概念

    Kappa系数是一个用于一致性检验的指标,也可以用于衡量分类的效果。

    在分类问题中,一致性就是指模型的预测结果和实际分类结果是否一致。

    Kappa系数的计算是基于混淆矩阵的,取值为-1到1之间,通常大于0。

    基于混淆矩阵的Kappa系数计算公式如下:

    其中:

    P0实际上就是准确率(Accuracy)

     即所有类别分别对应的“实际数量与预测数量的乘积”之和,除以“样本总数的平方”。

    Section 2:为什么要使用Kappa系数

    在分类问题中,最常见的评价指标是准确率(Accuracy),准确率能直接反应分类正确的比例,同时准确率的计算非常简单。

    但是在实际的分类问题数据集中,各个类别的样本数量往往不太平衡。

    对于这种存在类别不平衡问题的数据集,如果不加以调整,模型很容易偏向大类别而放弃小类别。

    例如:数据集中正负样本比例为1:9,即使模型直接全部预测为负,准确率(Accuracy)也有90%,但这样正样本就完全被抛弃了。

    虽然此时整体的准确率(Accuracy)很高,但是部分类别完全不能被召回。

    这时就需要一种能够惩罚模型的“偏向性”的指标来代替准确率(Accuracy)。

    而根据Kappa系数的计算公式,越不平衡的混淆矩阵,pe越高,Kappa值就越低,正好可以给“偏向性”强的模型打低分。

    Section 3:Kappa系数计算示例

    混淆矩阵:

     

     

    Section 4:Kappa系数的指标解释

    Kappa系数的计算结果位于[-1,1],但通常Kappa系数是落在[0,1]之间。

    Kappa系数的结果可以分为五组来表示不同级别的一致性:

    • 0.00到0.20:极低的一致性(Slight)
    • 0.21到0.40:一般的一致性(Fair)
    • 0.41到0.60:中等的一致性(Moderate)
    • 0.61到0.80:高度的一致性(Substantial)
    • 0.81到1.00:几乎完全一致(Almost Perfect)

    Link:

    https://zhuanlan.zhihu.com/p/67844308

    Section 5:混淆矩阵

    混淆矩阵(Confusion Matrix)又称误差矩阵(Error Matrix),是ROC曲线绘制的基础,同时它也是衡量分类模型准确度中最基本,最直观,计算最简单的方法。

    混淆矩阵的简单解释就是:分别统计分类模型归错类,归对类的观测值个数,然后把结果放在一个表里展示出来,这个表就是混淆矩阵。

    Link:

    https://zhuanlan.zhihu.com/p/111274912

     

     

     

    展开全文
  • 文章目录一、准备工作二、处理步骤2.1 Arcmap:栅格转点+多值提取到点栅格转点多值提取至点2.2 Excel:计算混淆矩阵三、Excel计算模板下载地址 ...可以参考这一篇Kappa系数。则对于上文中的例子来说,有 软件需要用到A
  • 本代码可计算kappa相关系数。 % KAPPA: This function computes the Cohen's kappa coefficient. % Cohen's kappa coefficient is a statistical measure of inter-rater % reliability. It is generally thought...
  • Kappa系数在两类运动想象EEG识别中的应用考察,王海,,本文考察了kappa系数在衡量两类运动想象脑电信号识别效果方面的适用性及相关特点。本文以国际脑机接口竞赛的多个数据集作为研究样�
  • cohen’s kappa的值在-1到1之间。若其,则观察一致率小于机遇一致率;若其=0,则观察一致率等于机遇一致率,结果完全由机遇一致率导致;若其>0,则存在一定的一致性。 具体: Kappa值0.4-0.6,一致性一般 Kappa值...
  • [转载]Kappa系数的计算及应用

    千次阅读 2021-04-23 21:38:16
    Kappa一致性相关分析中经常应用的Kappa系数有三种,即简单Kappa系数,加权Kappa系数和总Kappa系数及标准误和检验统计量的计算公式,并针对Kappa系数仅适用于行数和列数相等的方表的问题,给出了用SPSS软件实现对行列...
  • Kappa系数计算

    千次阅读 2021-11-15 10:40:29
    kappa系数是一种衡量分类精度的指标。 公式: k=po−pe1−pe k=\frac{p_o-p_e}{1-p_e} k=1−pe​po​−pe​​ 其中,pop_opo​是每一类正确分类的样本数量之和除以总样本数,也就是总体分类精度 。C是类别总数,TiT_...
  • 监督分类KAPPA系数

    2011-04-24 13:13:30
    遥感数字图像计算机分类,监督分类,kappa系数的实现
  • Kappa系数

    千次阅读 2018-02-26 09:42:51
    Kappa系数用于一致性检验 也可以用于衡量分类精度 kappa系数的计算是基于混淆矩阵的 kappa计算结果为-1~1,但通常kappa是落在 0~1 间,可分为五组来表示不同级别的一致性:0.0~0.20极低的一致性(slight)...
  • 每日一学 kappa系数

    万次阅读 多人点赞 2018-04-21 23:53:29
    1.定义 Kappa系数用于一致性检验,也可以用于衡量分类精度,kappa系数的计算是基于混淆矩阵的。2.具体例子3.具体指标的分析kappa计算结果为-1~1,但通常kappa是落在 0~1 间第一种分析准则--可分为五组来表示不同...
  • kappa系数---学习笔记

    2022-08-05 17:15:40
    kappa系数---学习笔记
  • 遥感图像分类Kappa系数遥感图像分类Kappa系数遥感图像分类Kappa系数遥感图像分类Kappa系数
  • Kappa系数 首先,我们介绍一下kappa系数kappa系数是用在统计学中评估一致性的一种方法,我们可以用他来进行多分类模型准确度的评估,这个系数的取值范围是[-1,1],实际应用中,一般是[0,1],与ROC曲线中一般不会...
  • 主要应用于分类精度的评价,针对解决kappa系数存在的一系列问题
  • kappa系数一致性检验和配对卡方检验SPSS详细操作:一、问题与数据有两种方法可用于诊断某种癌症,A方法简单易行,成本低,患者更容易接受,B方法结果可靠,但操作繁琐,患者配合困难。某研究选择了53例待诊断的门诊...
  • skleran 计算 kappa系数

    2021-11-17 15:47:33
    from sklearn.metrics import cohen_kappa_score kappa = cohen_kappa_score(pre,true) kappa = cohen_kappa_score(true,pre) # kappa统计值是对称的,所以交换y1和y2不会改变值。 详见官网
  • 图像A中0表示水体,1表示植被,2表示裸地;B中4表示水体,2表示植被,1表示l裸地。 本程序将B的分类编码改成和A一致;以A为参考图像生成参考矩阵;计算总体精度和kappa系数
  • python计算kappa系数

    千次阅读 2020-09-24 21:12:27
    sklearn.metrics.cohen_kappa_score(y1, y2, *, labels=None, weights=None, sample_weight=None) https://scikit-learn.org/stable/modules/generated/sklearn.metrics.cohen_kappa_score.html
  • 一致性检验 -- Kappa 系数

    万次阅读 2017-11-30 20:32:21
    一、Kappa 检验方法 在做数据分析时,我们经常会面临一致性检验问题,即判断不同的模型或者分析方法在预测结果上是否具有一致性、模型的结果与实际结果是否具有一致性等。另外,一致性检验在临床实验中也有着广泛...
  • 总体分类精度和kappa系数计算实例详细介绍!

    千次阅读 多人点赞 2021-05-10 11:02:06
    为啥要算总体分类精度和kappa系数呢?想必大家都知道是为了精度评价,当我们没有实测数据的时候,那么总体分类精度和kappa系数就派上用场了!我们没有实测数据,依旧能够评价自己的方法和模型的优良性。博客写的有点...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,433
精华内容 973
关键字:

kappa系数