精华内容
下载资源
问答
  • 漏报率和误报率
    千次阅读 多人点赞
    2019-07-12 15:33:06

    漏报:进门时保安没有把小偷识别出来,让他进门了,可理解为漏网之鱼。
    误报:保安一时糊涂将一个好人当成小偷抓起来了,错怪好人
    漏报率:错误的当成正确的个数/错误的个数,也就是1-recall
    误报率:正确的当成错误的个数/正确的个数,也就是FPR(假正率)

    更多相关内容
  • 这是一个非常简单的函数,它返回与一对命中率和误报率相关的 d' 值。
  • 抑制入侵检测系统(IDS)的误报率是提高其检测结果可信性的重要途径。通过分析异常入侵检测系统的误报率问题,提出了基于人工免疫思想,动态构建正常系统轮廓,抑制误报率的方法。建立了自体、抗原、抗体的动态变化...
  • 抑制入侵检测系统(IDS)的误报率是提高其检测结果可信性的重要途径。通过分析异常入侵检测系统的误报率问题,提出了基于人工免疫思想,动态构建正常系统轮廓,抑制误报率的方法。建立了自体、抗原、抗体的动态变化...
  • 目前,代码审计已经成为网络安全建设中...总结了当前代码审计系统的不足之处,简述了不同静态源代码检测算法的原理,并分析检测报告中出现误报的原因,提出了相应的优化思路,描述了优化方案的技术原理及其应用场景。
  • 使用最小描述长度原则减少最佳拟合算法的误报率
  • 我们解释了任何身体如何在 matlab 上编程 cfar
  • 灵敏度(召回或真阳性) 4.特异性5.精密6.FPR-假阳性7.F_score 8.MCC-Matthews相关系数9.kappa-Cohen's kappa 运行demo.m进行证明和演示开发人员 Er.Abbas Manthiri S 日期 25-12-2016 邮件 ID:...
  • 文章目录 TP、TN、FP、FN 召回率 Recall 命中率 TPR: True Positive Rate 误报率 FPR: False Positive Rate 准确率 Accuracy 精确度 Precision 综合查全率 F-Measure 参考 TP、TN、FP、FN 这 4 个名词表示的是数量。...

    TP、TN、FP、FN

    这 4 个名词表示的是数量。

    TP:True Positive,表示把 【实际恶意应用】 预测为 【恶意应用】 的个数;
    FP:False Positive,表示 【实际正常应用】 预测为 【恶意应用】 的个数;
    TN:Ture Negative,表示把 【实际正常应用】 预测为 【正常应用】 的个数;
    FN:False Negative,表示 【实际恶意应用】 预测为 【正常应用】 的个数;

    注意1: 【正常应用】在此文中与【良性应用】是一个意思。
    注意2: TP 的含义,决定了之后的公式表示。 在此文中,TP 表示把「实际恶意应用」判定为「恶意应用」,这是此文讨论的基准。 在有些论文中, TP 表示把「良性应用」判定为「良性应用」,此时所有的公式都要相应改变。

    True 表示预测对了。
    False 表示预测错了。

    对于【检测恶意应用】来说,Positive 是指,检出了恶意应用。Negative 是指没有检查出恶意应用。 再强调一次:这是本文的基准。有些论文中基准不一样。

    Postive 虽然检查出了【恶意应用】,但是存在把【正常应用】判定为【恶意应用】,这是误报,也就是 FP (False Positive) 所对应的结果是误报。

    Negative 判断出了哪些 app 是【正常应用】,但是这里面有【恶意应用】,也就是没有判断出来它是恶意的,这是漏报,也就是 FN(False Negative) 对应的结果是漏报。

    总结:
    FP (False Positive)表示误报。
    FN (False Negative)表示漏报。

    从含义来看, T P + F N TP + FN TP+FN 表示样本中全部的恶意应用。
    F P + T N FP + TN FP+TN 表示样本中全部的正常应用。
    T P + T N TP + TN TP+TN 表示预测准确的个数。

    这两个值( T P + F N TP + FN TP+FN F P + T N FP + TN FP+TN)会被用到比例中,见下面的各种率。

    下面的概念中,以【检测恶意应用】为例来说明。

    召回率 Recall

    其他名称:查全率,命中率,真阳性率。

    含义:检测出来的恶意应用的个数(TP)占样本中所有恶意应用个数的比例。
    公式为:
    R e c a l l = T P T P + F N Recall = \frac {TP} {TP + FN} Recall=TP+FNTP
    或者
    T P R = T P T P + F N TPR = \frac {TP} {TP + FN} TPR=TP+FNTP

    T P + F N TP+FN TP+FN 表示所有的恶意应用。即【被判定为恶意应用的恶意应用的个数】 + 【被判定为正常应用的恶意应用的个数】之和。也就是不管被判定为什么,它们原本就是恶意应用的个数。

    F N FN FN 是漏报个数, T P + F N TP+FN TP+FN 是所有恶意应用的个数,如果漏报增加, T P + F N TP+FN TP+FN 之和是不变的,那么 T P TP TP 就会减少,召回率下降。
    漏报增多,导致召回率下降。

    命中率 TPR: True Positive Rate

    其他名称:召回率,查全率,真阳性率。

    见「召回率」。

    误报率 FPR: False Positive Rate

    含义:把正常应用判定为恶意应用的个数(FP)占所有正常应用个数的比例。
    公式:
    F P R = F P F P + T N FPR = \frac {FP} {FP + TN} FPR=FP+TNFP

    F P + T N FP + TN FP+TN 表示样本中全部的正常应用。

    准确率 Accuracy

    含义:检测结果为 True 的个数占总样本个数的比例
    A c c u r a c y = T P + T N T P + T N + F P + F N Accuracy = \frac{TP + TN}{TP + TN + FP + FN} Accuracy=TP+TN+FP+FNTP+TN

    T P + T N TP + TN TP+TN 表示预测准确的个数。
    T P + T N + F P + F N TP + TN + FP + FN TP+TN+FP+FN 为所有样本的个数。

    精确度 Precision

    含义:被认定为恶意应用的 app 中,有多少是真正的恶意应用。
    公式:
    P r e c i s i o n = T P T P + F P Precision = \frac{TP} {TP+FP} Precision=TP+FPTP

    T P + F P TP+FP TP+FP 表示被判定为恶意应用的个数。其中包含了真正的恶意应用,也包含了被误判的正常应用。

    T P TP TP 的上限是所有的恶意应用都被正确识别出来,即 T P TP TP 的上限是所有恶意应用的个数。
    F P FP FP 是误报,当 T P TP TP 固定,误报增加时,精确度下降。
    误报增多,导致精确度下降。

    综合查全率 F-Measure

    平均上述的 Precision 和 Recall 指标后的综合评测标准。
    其公式如下:
    F - m e a s u r e = 2 × P r e c i s i o n × R e c a l l P r e c i s i o n + R e c a l l F\text-measure = \frac{2 × Precision × Recall} {Precision + Recall} F-measure=Precision+Recall2×Precision×Recall

    参考

    https://www.cnblogs.com/by-dream/p/7668501.html 这个链接 中 给出的是通用意义上的解释,在对应具体的场景时,Recall 和 Precision 的公式是不一样的。

    以及其他论文中的解释。

    展开全文
  • FileScan: 敏感文件扫描 / 二次判断降低误报率 / 扫描内容规则化 / 多目录扫描
  • 文章目录误报率、故障检测率、漏报率等指标1. 一些标准指标的计算true positive rate (tp rate)【真阳性率】, or hit rate 【命中率】, or recall 【召回率】:false positive rate (fp rate) 【假阳性率】, or ...

    误报率、故障检测率、漏报率、虚警率、误警率等指标异同及计算公式

    1. 一些标准指标的计算

    参考论文:Fawcett T. An introduction to ROC analysis[J]. Pattern Recognition Letters, 2006, 27(8): 861–874.

    谷歌学术显示这篇文章引用量有一万四千多,应该是比较权威经典的。

    下面这部分相关指标的定义是从该论文中摘抄出来的

    中括号【】内的【中文】,是自己根据相应英文含义加的

    True class 【真实类别】True class 【真实类别】
    p 【阳性】n 【阴性】
    Hypothesized class 【预测类别】Y 【阳性】TP(True Positives) 【真阳性】FP(False Positives) 【假阳性】
    Hypothesized class 【预测类别】N 【阴性】FN(False Negatives) 【假阴性】TN(True Negatives) 【真阴性】

    注:Hypothesized class直接翻译好像是“被假定的类别”,不太清楚是什么意思,个人认为应该是指“预测类别”。

    true positive rate (tp rate)【真阳性率】, or hit rate 【命中率】, or recall 【召回率】:

    tp rate = T P T P + F N ≈ Positives correctly classified 【被正确分类的阳性数目】  Total positives 【总阳性数目】  \textrm{tp rate}=\frac{TP}{TP+FN}\approx\frac{\textrm{Positives correctly classified 【被正确分类的阳性数目】 }}{\textrm{Total positives 【总阳性数目】 }} tp rate=TP+FNTPTotal positives 【总阳性数目】 Positives correctly classified 【被正确分类的阳性数目】 

    注:关于上面是约等号的问题,首先,原文说的是用后面这部分的公式去估计tp rate,个人想法是,前面的计算公式是理论公式,后面公式是用实验的结果来估计的意思吧。

    false positive rate (fp rate) 【假阳性率】, or false alarm rate:

    fp rate = F P F P + T N ≈ Negatives incorrectly classified【被错误分类的阴性数目】 Total negatives【总阴性数目】 \textrm{fp rate}=\frac{FP}{FP+TN}\approx\frac{\textrm{Negatives incorrectly classified【被错误分类的阴性数目】}}{\textrm{Total negatives【总阴性数目】}} fp rate=FP+TNFPTotal negatives【总阴性数目】Negatives incorrectly classified【被错误分类的阴性数目】

    sensitivity【灵敏度】:

    sensitivity=recall \textrm{sensitivity=recall} sensitivity=recall

    specificity【特异度】:

    specificity = True negatives【真阴性】  False positives【假阳性】+True negatives【真阴性】 = 1 − fp rate \textrm{specificity}=\frac{\textrm{True negatives【真阴性】 }}{\textrm{False positives【假阳性】+True negatives【真阴性】}}=1-\textrm{fp rate} specificity=False positives【假阳性】+True negatives【真阴性】True negatives【真阴性】 =1fp rate

    precision【精确度】:

    precision = T P T P + F P \textrm{precision}=\frac{TP}{TP+FP} precision=TP+FPTP

    accuracy【准确度】:

     accuracy = T P + T N T P + F N + T N + F P \textrm{ accuracy}=\frac{TP+TN}{TP+FN+TN+FP}  accuracy=TP+FN+TN+FPTP+TN

    F measure【F值】:

     F measure = 2 1 precision + 1 recall \textrm{ F measure}=\frac{2}{\frac{1}{\textrm{precision}}+\frac{1}{\textrm{recall}}}  F measure=precision1+recall12

    2. 在化工等领域的故障检测中相关指标计算

    以下是个人的理解,没有特意参照某篇论文,如有不同意见或错误,欢迎指出。

    在故障检测里,因为只是故障检测,并不会区分故障1或者故障2,而是统统当成故障这一类别。

    所以,将故障定义为阳性P,正常定义为阴性N,例如,故障1是阳性P,故障2也是阳性P。

    那么故障检测中,常用的相关指标定义如下:

    故障检测率(fault detection rate,FDR):

    FDR = 被正确检测的故障(即故障被成功预测成故障)数目  故障总数目 = T P T P + F N = tp rate \textrm{FDR}=\frac{\textrm{被正确检测的故障(即故障被成功预测成故障)数目 }}{\textrm{故障总数目}}=\frac{TP}{TP+FN}=\textrm{tp rate} FDR=故障总数目被正确检测的故障(即故障被成功预测成故障)数目 =TP+FNTP=tp rate

    因此,故障检测率与召回率、真阳性率是同一个计算公式,同一个含义。

    故障L的故障检测率

    故障L故障检测率  = 被正确检测的故障L(即故障L被成功预测成故障)总数  故障L总数目 \textrm{故障L故障检测率 }=\frac{\textrm{被正确检测的故障L(即故障L被成功预测成故障)总数 }}{\textrm{故障L总数目}} 故障L故障检测率 =故障L总数目被正确检测的故障L(即故障L被成功预测成故障)总数 

    其中,L是具体某类故障的标签。因此论文中,谈到“不同故障检测率”,用的是故障L的故障检测率公式。而“平均故障检测率”就是在不区分故障几的情况下计算的结果,即用的FDR或tp rate计算。

    所以,如果在“fault detection rate”的讨论环境中,存在着不同故障,那用的是故障L的故障检测率公式。如果没有区分故障,那么指的就是原来的含义,不过,为了说明的更清楚,一般采用“average fault detection rate”,即平均故障检测率,所以,这样也算是作了相应的区分了。

    论文示例 1:

    来源:Lv F, Wen C, Bao Z, et al. Fault diagnosis based on deep learning[C]. 2016 American Control Conference (ACC). Boston, MA, USA: IEEE, 2016: 6851–6856.

    这个讨论的是平均故障检测率:
    在这里插入图片描述

    论文示例 2:

    来源:Zhang X, Kano M, Li Y. Principal Polynomial Analysis for Fault Detection and Diagnosis of Industrial Processes[J]. IEEE Access, 2018, 6: 52298–52307.

    这个讨论的是各故障的检测率,用的是故障L的故障检测率公式,左边第一列是21种故障:
    在这里插入图片描述

    误报率(false alarm rate,FAR)、虚警率、误检率:

    FAR = 误报成故障的正常样本数目 正常总数目 = F P F P + T N = fp rate \textrm{FAR}=\frac{\textrm{误报成故障的正常样本数目}}{\textrm{正常总数目}}=\frac{FP}{FP+TN}=\textrm{fp rate} FAR=正常总数目误报成故障的正常样本数目=FP+TNFP=fp rate

    误报的含义肯定是指正常被误报成故障(真实类别为正常,预测类别为故障),显然不会有故障误报成正常这一说法,只有故障漏报成正常的说法。

    因此,误报率是与假阳性率同一个计算公式,同一个含义

    关于虚警率这个指标的问题,个人认为,完全是翻译的问题。

    毕竟,false alarm rate 这个词,字面意思,假的警报比率,翻译成“误报率”、“虚警率”都是合理的翻译,甚至翻译成“误警率”,“虚报率”字面意思好像也完全说的通的,只是可能没有人这么说。

    在百度翻译中,“虚警率”甚至被翻译成了“false positive rate”,即“假阳性率”了(而上面公式表明误报率和假阳性率确实是一样的)。

    而在谷歌翻译中,“虚警率”被翻译成“false alarm rate”,而“false alarm rate”再翻译回中文时又成“误报率”了。

    个人猜测,会不会是不同领域的故障检测的研究人员,由于侧重点不同或者什么原因,在翻译“false alarm rate”时,分别翻译成了“误报率”、“虚警率”、“误检率”之类的名称了,所以导致存在不同的翻译名称,但计算公式和含义是完全一样的。

    漏报率(missing alarm rate,MAR)、漏检率、漏警率:

    MAR = 漏报为正常的故障数目 故障总数目 = F N T P + F N \textrm{MAR}=\frac{\textrm{漏报为正常的故障数目}}{\textrm{故障总数目}}=\frac{FN}{TP+FN} MAR=故障总数目漏报为正常的故障数目=TP+FNFN

    个人认为,漏报率、漏检率、漏警率等也是不同领域的翻译问题,它们其实是一样的。

    故障L的漏报率:

    故障L漏报率 = 漏报为正常的故障L数目 故障L总数目 \textrm{故障L漏报率}=\frac{\textrm{漏报为正常的故障L数目}}{\textrm{故障L总数目}} 故障L漏报率=故障L总数目漏报为正常的故障L数目

    因此漏报率也可以分成“平均故障漏报率”和“故障L漏报率”。不过好像没见过用“平均故障漏报率”这一说法的。

    漏报率这一指标,在使用时,存在和检测率一样的使用规则。

    论文示例 3:

    来源:Shi L, Tong C, Lan T, 等. Statistical process monitoring based on ensemble structure analysis[J]. IEEE/CAA Journal of Automatica Sinica, 2018: 1–8.

    这个漏报率实际是各故障的漏报率,用的故障L的漏报率计算公式
    在这里插入图片描述

    显然,这个漏报率+故障检测率=1,或者说平均漏报率+平均故障检测率=1,再或者说故障L漏报率+故障L故障检测率=1

    因为和为1,所以,用故障检测率,一般就不用漏报率,反之亦然。

    而“精确度”、“准确率”、“错误率”这类指标,在故障检测上一般没见使用,可能是这类指标会受到不同类别数目的影响,所以,在该领域讨论意义不大。

    3. 在化工等领域的故障检测中哪个指标说法更专业?

    误报率、故障检测率、false alarm rate、fault detection rate

    阅读了一些该领域中的中英文论文,包括国内的硕博论文。

    中文论文中,大家基本都是用的误报率、故障检测率这两个指标。用漏报率的比较少。用“虚警率”这类说法的几乎没有看到过。

    个别人用了故障准确率等类似的说法,但是个人认为这一说法并不好,不知道什么意思,容易有歧义,也没看到它的计算公式,通过文章上下文,个人猜测,大概是故障检测率的意思吧。

    英文论文中,一般都是用false alarm rate、fault detection rate,用missing alarm rate也有,但比较少见。

    所以,个人认为,在化工过程的故障检测中,用误报率、故障检测率比用“虚警率、漏警率”更专业些。如有需要,不用故障检测率,用漏报率也是可以的。

    4. 上述论述得到的结论

    在 故障定义为阳性,正常定义为阴性 的前提下。

    结论① 故障检测率=真阳性率=召回率

    结论② 误报率=假阳性率

    结论③ false alarm rate=误报率=虚警率=误检率等名称(纯粹是翻译不同)

    结论④ missing alarm rate=漏报率=漏警率=漏检率等名称

    结论⑤ 漏报率+故障检测率=1

    结论⑥ 在化工等领域的故障检测中,用“误报率(false alarm rate)、故障检测率(fault detection rate)”是比较通用、比较专业的说法。

    展开全文
  • 对于我的日常而言,关注的是是否正常,所以一般用误报率和漏报率。 误报指的是本来正常,但是误认为是异常。对应于FN 漏报指的是本来异常,但是误认为是正常。对应于FP 误报率+召回率=1 漏报率+准确率=1 ...

    什么是positive和negative


    首先需要明确positive和negative的含义,不然很容易混淆。以下英文搬运自维基百科

    The terms “positive” and “negative” do not refer to the value of the condition of interest, but to its presence or absence; the condition itself could be a disease, so that “positive” might mean “diseased”, while “negative” might mean “healthy”.1

    翻译如下:

    术语“阳性”和“阴性”不是指所关心的情况的值,而是指其存在或不存在;该情况本身可能是一种疾病,因此“阳性”可能意味着“疾病”,而“阴性”可能意味着“健康”。

    如果对异常情况比较关注的话,那么“阳性(positive)”就是指存在异常,“阴性(negative)”就是指不存在异常。

    什么是true和false


    true指的是预测的情况和真实情况一致;
    false指的是预测的情况和真实情况不一致。

    TP、FP、TN、FN


    以看病为例,关注的是人得了某种疾病。
    TP是true positive的缩写,真阳性,表示被检出有病,而且确实是有病
    FP是false positive的缩写,假阳性,表示被检出有病,但是实际上却没病
    TN是true negative的缩写,真阴性,表示被检出没病,而且确实是没病
    FN是false negative的缩写,假阴性,表示被检出没病,但是实际上却有病

    误报率、漏报率、召回率


    这几个概念太绕了,根据关注点的不同使用的频率也不相同。
    对于我的日常而言,关注的是异常情况,所以一般用误报率和漏报率。
    误报,别名虚警,指的是本来正常(Condition negative),但是误认为是异常(Predicted condition positive)。对应于FP,type Ⅰ error。
    漏报,别名漏警,指的是本来异常(Condition positive),但是误认为是正常(Predicted condition negative)。对应于FN,type Ⅱ error。
    漏报率+召回率=1
    先整理到这里,后期继续更新。
    从维基百科词条1截图如下:

    在这里插入图片描述

    误报率和漏报率的关系


    一般来说无法同时降低误报率和漏报率。举个例子来说,某门卫为了防止小偷进入小区,凡是过往人员都要盘查,这时漏报率为0,但是显著提高了误报率;反之如果门卫什么都不做,任由人员出入,那么这是漏报率就会提高,而误报率降低为0。

    see also


    1. 异常检测
    2. 开发和评价一个异常检测系统
    3. 异常检测评价指标 balanced accuracy
    4. 异常检测中的三种异常

    References


    1. Wikipedia:Sensitivity and specificity ↩︎ ↩︎

    展开全文
  • @Record_05:准确率(Accuracy)_精确率(Precision)_召回率(Recall)_漏报率_误报率 折腾了这么久,跟别人探讨了,自学了这么久,还是要来写一下这个博客,对自己是一种记录,希望这种记录对你有用。 混淆矩阵 不...
  • 精选的最新过滤器列表,误报率极低。 软体类 [与这些列表一起使用的软件] [工具] 筛选类别 [阻止公司的过滤器] [白名单] [多个类别(阻止多个内容的过滤器列表)] [饼干] [删除AdGuard删除警告] [烦恼] [广告...
  • 非高斯异质杂波中GLRT-LQ检测器的误报率
  • 值越大,性能performance越好 三、分类指标间的关系 由上述指标的定义,可以得到如下的一些指标间的关系: ,即召回率+漏报率=1 ,即特异性+误报率=1 四、分类综合指标(F1-Score、AP&mAP、AUC) 1、F1-Score 首先看...
  • 网络游戏-基于网络包动态污点分析技术的低误报率IDSIPS.zip
  • 误报率(FPR)与漏报率(FNR) 1.准确率(Accuracy) 准确率是一个用于评估分类模型的指标。通俗来说,准确率是指我们的模型预测正确的结果所占的比例。 正式点说,准确率的定义如下: 对于二元分类,也可以...
  • 被动式IAST具有近实时检测,高检出率,低误报率,低漏报率等特点;理论上可以实现0误报,但是,在复杂场景下,会出现污点突变不准确,误报等情况,尤其是使用了自定义的过滤函数 二, :rocket:火线〜洞态IAST极速...
  • 行业分类-设备装置-一种降低司法社区矫正管理系统越界误报率的方法.zip
  • 注意这里的顺序是按置信度排序的,前80真实标签里有正有负 P(percision)精确度:查准、正检:检测为正的80张里,真实正例占的比例 (假设前80真实正的有70,则 p=70/80 ) R(Recall)召回:查全、检出:...
  • #资源达人分享计划#
  • 怎样减少被动红外探测器误报漏报? 目前报警系统出现误报、漏报主要有以下几个方面原因。无线探测器抗干扰能力表现为同频干扰容易造成误报、漏报。红外探测器对入侵行为判断力不够准确造成误报漏报。红外...
  • 目录 准确率(Accuracy) 精确率(Precision,查准率) 召回率(Recall=TPR) Precision-Recall曲线 F值(F-Measure,综合评价指标) 特异度TNR(真阴性率、specificity) 误报率(FPR、假阳性率) 灵敏度TPR(真...
  • 思想很简单,将标注的yolo数据转下格式,转为[类别,xmin,ymin,xmax,ymax] 转换valid后的信息,两个信息进行对比 完事 具体的,在终端执行: ./darknet detector valid cfg/voc.data cfg/yolo-voc.cfg ...
  • 通过仿真,计算虚警概率与误报概率,和信噪比关系
  • WAF检测误报测试工具Gotestwaf

    万次阅读 2022-01-01 23:44:23
    WAF检测率 误报率测试工具
  • 一种基于条件随机场的入侵检测误报滤除方法,努尔布力,解男男,在入侵检测领域,误报率已经成为衡量一个入侵检测系统好坏的重要指标,如何降低警报误报率一直是个研究热点。主要是通过引入条件
  • 树状布隆过滤器用于误报概率和传输带宽的联合优化
  • 当然,很多技术人员都在说源代码安全检测工具的误报率很高,在我看来也不能直接说一定是很高的,这个关键是看用的好坏和会不会用。一方面任何一个测试工具都会有一定的误报,源代码安全检测所检测出来的都是可能的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 27,726
精华内容 11,090
关键字:

误报率