TP、TN、FP、FN

这 4 个名词表示的是数量。

TP：True Positive，表示把 【实际恶意应用】 预测为 【恶意应用】 的个数；
FP：False Positive，表示 【实际正常应用】 预测为 【恶意应用】 的个数；
TN：Ture Negative，表示把 【实际正常应用】 预测为 【正常应用】 的个数；
FN：False Negative，表示 【实际恶意应用】 预测为 【正常应用】 的个数；

注意1： 【正常应用】在此文中与【良性应用】是一个意思。
注意2： TP 的含义，决定了之后的公式表示。 在此文中，TP 表示把「实际恶意应用」判定为「恶意应用」，这是此文讨论的基准。 在有些论文中， TP 表示把「良性应用」判定为「良性应用」，此时所有的公式都要相应改变。

True 表示预测对了。
False 表示预测错了。

对于【检测恶意应用】来说，Positive 是指，检出了恶意应用。Negative 是指没有检查出恶意应用。 再强调一次：这是本文的基准。有些论文中基准不一样。

Postive 虽然检查出了【恶意应用】，但是存在把【正常应用】判定为【恶意应用】，这是误报，也就是 FP （False Positive） 所对应的结果是误报。

Negative 判断出了哪些 app 是【正常应用】，但是这里面有【恶意应用】，也就是没有判断出来它是恶意的，这是漏报，也就是 FN（False Negative） 对应的结果是漏报。

总结：
FP （False Positive）表示误报。
FN （False Negative）表示漏报。

从含义来看，$TP+FN$ 表示样本中全部的恶意应用。
$FP+TN$ 表示样本中全部的正常应用。
$TP+TN$ 表示预测准确的个数。
这两个值（$TP+FN$，$FP+TN$）会被用到比例中，见下面的各种率。

下面的概念中，以【检测恶意应用】为例来说明。

召回率 Recall

其他名称：查全率，命中率，真阳性率。

含义：检测出来的恶意应用的个数（TP）占样本中所有恶意应用个数的比例。
公式为：
$$Recall=\frac{TP}{TP+FN}$$
或者
$$TPR=\frac{TP}{TP+FN}$$

$TP+FN$ 表示所有的恶意应用。即【被判定为恶意应用的恶意应用的个数】 + 【被判定为正常应用的恶意应用的个数】之和。也就是不管被判定为什么，它们原本就是恶意应用的个数。

$FN$ 是漏报个数，$TP+FN$ 是所有恶意应用的个数，如果漏报增加，$TP+FN$ 之和是不变的，那么 $TP$ 就会减少，召回率下降。
漏报增多，导致召回率下降。

命中率 TPR: True Positive Rate

其他名称：召回率，查全率，真阳性率。

见「召回率」。

误报率 FPR: False Positive Rate

含义：把正常应用判定为恶意应用的个数（FP）占所有正常应用个数的比例。
公式：
$$FPR=\frac{FP}{FP+TN}$$

$FP+TN$ 表示样本中全部的正常应用。

准确率 Accuracy

含义：检测结果为 True 的个数占总样本个数的比例
$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$

$TP+TN$ 表示预测准确的个数。
$TP+TN+FP+FN$ 为所有样本的个数。

精确度 Precision

含义：被认定为恶意应用的 app 中，有多少是真正的恶意应用。
公式：
$$Precision=\frac{TP}{TP+FP}$$

$TP+FP$ 表示被判定为恶意应用的个数。其中包含了真正的恶意应用，也包含了被误判的正常应用。

$TP$ 的上限是所有的恶意应用都被正确识别出来，即 $TP$ 的上限是所有恶意应用的个数。
$FP$ 是误报，当 $TP$ 固定，误报增加时，精确度下降。
误报增多，导致精确度下降。

综合查全率 F-Measure

平均上述的 Precision 和 Recall 指标后的综合评测标准。
其公式如下:
$$F\text{-}measure=\frac{2\times Precision\times Recall}{Precision+Recall}$$

参考

https://www.cnblogs.com/by-dream/p/7668501.html 这个链接 中 给出的是通用意义上的解释，在对应具体的场景时，Recall 和 Precision 的公式是不一样的。

以及其他论文中的解释。

误报率、故障检测率、漏报率、虚警率、误警率等指标异同及计算公式

1. 一些标准指标的计算

参考论文：Fawcett T. An introduction to ROC analysis[J]. Pattern Recognition Letters, 2006, 27(8): 861–874.

谷歌学术显示这篇文章引用量有一万四千多，应该是比较权威经典的。

下面这部分相关指标的定义是从该论文中摘抄出来的

中括号【】内的【中文】，是自己根据相应英文含义加的

注：Hypothesized class直接翻译好像是“被假定的类别”，不太清楚是什么意思，个人认为应该是指“预测类别”。

true positive rate (tp rate)【真阳性率】, or hit rate 【命中率】, or recall 【召回率】：

$$\text{tp rate}=\frac{TP}{TP+FN}\approx \frac{\text{Positives correctly classified 【被正确分类的阳性数目】 }}{\text{Total positives 【总阳性数目】 }}$$

注：关于上面是约等号的问题，首先，原文说的是用后面这部分的公式去估计tp rate，个人想法是，前面的计算公式是理论公式，后面公式是用实验的结果来估计的意思吧。

false positive rate (fp rate) 【假阳性率】, or false alarm rate：

$$\text{fp rate}=\frac{FP}{FP+TN}\approx \frac{\text{Negatives incorrectly classified【被错误分类的阴性数目】}}{\text{Total negatives【总阴性数目】}}$$

sensitivity【灵敏度】：

$$\text{sensitivity=recall}$$

specificity【特异度】：

$$\text{specificity}=\frac{\text{True negatives【真阴性】 }}{\text{False positives【假阳性】+True negatives【真阴性】}}=1-\text{fp rate}$$

precision【精确度】：

$$\text{precision}=\frac{TP}{TP+FP}$$

accuracy【准确度】：

$$\text{ accuracy}=\frac{TP+TN}{TP+FN+TN+FP}$$

F measure【F值】：

$$\text{ F measure}=\frac{2}{\frac{1}{\text{precision}}+\frac{1}{\text{recall}}}$$

2. 在化工等领域的故障检测中相关指标计算

以下是个人的理解，没有特意参照某篇论文，如有不同意见或错误，欢迎指出。

在故障检测里，因为只是故障检测，并不会区分故障1或者故障2，而是统统当成故障这一类别。

所以，将故障定义为阳性P，正常定义为阴性N，例如，故障1是阳性P，故障2也是阳性P。

那么故障检测中，常用的相关指标定义如下：

故障检测率（fault detection rate，FDR）：

$$\text{FDR}=\frac{\text{被正确检测的故障（即故障被成功预测成故障）数目 }}{\text{故障总数目}}=\frac{TP}{TP+FN}=\text{tp rate}$$

因此，故障检测率与召回率、真阳性率是同一个计算公式，同一个含义。

故障L的故障检测率

$$\text{故障L故障检测率 }=\frac{\text{被正确检测的故障L（即故障L被成功预测成故障）总数 }}{\text{故障L总数目}}$$

其中，L是具体某类故障的标签。因此论文中，谈到“不同故障检测率”，用的是故障L的故障检测率公式。而“平均故障检测率”就是在不区分故障几的情况下计算的结果，即用的FDR或tp rate计算。

所以，如果在“fault detection rate”的讨论环境中，存在着不同故障，那用的是故障L的故障检测率公式。如果没有区分故障，那么指的就是原来的含义，不过，为了说明的更清楚，一般采用“average fault detection rate”，即平均故障检测率，所以，这样也算是作了相应的区分了。

论文示例 1：

来源：Lv F, Wen C, Bao Z, et al. Fault diagnosis based on deep learning[C]. 2016 American Control Conference (ACC). Boston, MA, USA: IEEE, 2016: 6851–6856.

这个讨论的是平均故障检测率：

论文示例 2：

来源：Zhang X, Kano M, Li Y. Principal Polynomial Analysis for Fault Detection and Diagnosis of Industrial Processes[J]. IEEE Access, 2018, 6: 52298–52307.

这个讨论的是各故障的检测率，用的是故障L的故障检测率公式，左边第一列是21种故障：

误报率（false alarm rate，FAR）、虚警率、误检率：

$$\text{FAR}=\frac{\text{误报成故障的正常样本数目}}{\text{正常总数目}}=\frac{FP}{FP+TN}=\text{fp rate}$$

误报的含义肯定是指正常被误报成故障（真实类别为正常，预测类别为故障），显然不会有故障误报成正常这一说法，只有故障漏报成正常的说法。

因此，误报率是与假阳性率同一个计算公式，同一个含义。

关于虚警率这个指标的问题，个人认为，完全是翻译的问题。

毕竟，false alarm rate 这个词，字面意思，假的警报比率，翻译成“误报率”、“虚警率”都是合理的翻译，甚至翻译成“误警率”，“虚报率”字面意思好像也完全说的通的，只是可能没有人这么说。

在百度翻译中，“虚警率”甚至被翻译成了“false positive rate”，即“假阳性率”了（而上面公式表明误报率和假阳性率确实是一样的）。

而在谷歌翻译中，“虚警率”被翻译成“false alarm rate”，而“false alarm rate”再翻译回中文时又成“误报率”了。

个人猜测，会不会是不同领域的故障检测的研究人员，由于侧重点不同或者什么原因，在翻译“false alarm rate”时，分别翻译成了“误报率”、“虚警率”、“误检率”之类的名称了，所以导致存在不同的翻译名称，但计算公式和含义是完全一样的。

漏报率（missing alarm rate，MAR）、漏检率、漏警率：

$$\text{MAR}=\frac{\text{漏报为正常的故障数目}}{\text{故障总数目}}=\frac{FN}{TP+FN}$$

个人认为，漏报率、漏检率、漏警率等也是不同领域的翻译问题，它们其实是一样的。

故障L的漏报率：

$$\text{故障L漏报率}=\frac{\text{漏报为正常的故障L数目}}{\text{故障L总数目}}$$

因此漏报率也可以分成“平均故障漏报率”和“故障L漏报率”。不过好像没见过用“平均故障漏报率”这一说法的。

漏报率这一指标，在使用时，存在和检测率一样的使用规则。

论文示例 3：

来源：Shi L, Tong C, Lan T, 等. Statistical process monitoring based on ensemble structure analysis[J]. IEEE/CAA Journal of Automatica Sinica, 2018: 1–8.

这个漏报率实际是各故障的漏报率，用的故障L的漏报率计算公式

显然，这个漏报率+故障检测率=1，或者说平均漏报率+平均故障检测率=1，再或者说故障L漏报率+故障L故障检测率=1

因为和为1，所以，用故障检测率，一般就不用漏报率，反之亦然。

而“精确度”、“准确率”、“错误率”这类指标，在故障检测上一般没见使用，可能是这类指标会受到不同类别数目的影响，所以，在该领域讨论意义不大。

3. 在化工等领域的故障检测中哪个指标说法更专业？

误报率、故障检测率、false alarm rate、fault detection rate

阅读了一些该领域中的中英文论文，包括国内的硕博论文。

中文论文中，大家基本都是用的误报率、故障检测率这两个指标。用漏报率的比较少。用“虚警率”这类说法的几乎没有看到过。

个别人用了故障准确率等类似的说法，但是个人认为这一说法并不好，不知道什么意思，容易有歧义，也没看到它的计算公式，通过文章上下文，个人猜测，大概是故障检测率的意思吧。

英文论文中，一般都是用false alarm rate、fault detection rate，用missing alarm rate也有，但比较少见。

所以，个人认为，在化工过程的故障检测中，用误报率、故障检测率比用“虚警率、漏警率”更专业些。如有需要，不用故障检测率，用漏报率也是可以的。

4. 上述论述得到的结论

在 故障定义为阳性，正常定义为阴性 的前提下。

结论① 故障检测率=真阳性率=召回率

结论② 误报率=假阳性率

结论③ false alarm rate=误报率=虚警率=误检率等名称（纯粹是翻译不同）

结论④ missing alarm rate=漏报率=漏警率=漏检率等名称

结论⑤ 漏报率+故障检测率=1

结论⑥ 在化工等领域的故障检测中，用“误报率（false alarm rate）、故障检测率（fault detection rate）”是比较通用、比较专业的说法。

什么是positive和negative

首先需要明确positive和negative的含义，不然很容易混淆。以下英文搬运自维基百科

The terms “positive” and “negative” do not refer to the value of the condition of interest, but to its presence or absence; the condition itself could be a disease, so that “positive” might mean “diseased”, while “negative” might mean “healthy”.¹

翻译如下：

术语“阳性”和“阴性”不是指所关心的情况的值，而是指其存在或不存在；该情况本身可能是一种疾病，因此“阳性”可能意味着“疾病”，而“阴性”可能意味着“健康”。

如果对异常情况比较关注的话，那么“阳性（positive）”就是指存在异常，“阴性（negative）”就是指不存在异常。

什么是true和false

true指的是预测的情况和真实情况一致；
false指的是预测的情况和真实情况不一致。

TP、FP、TN、FN

以看病为例，关注的是人得了某种疾病。
TP是true positive的缩写，真阳性，表示被检出有病，而且确实是有病
FP是false positive的缩写，假阳性，表示被检出有病，但是实际上却没病
TN是true negative的缩写，真阴性，表示被检出没病，而且确实是没病
FN是false negative的缩写，假阴性，表示被检出没病，但是实际上却有病

误报率、漏报率、召回率

这几个概念太绕了，根据关注点的不同使用的频率也不相同。
对于我的日常而言，关注的是异常情况，所以一般用误报率和漏报率。
误报，别名虚警，指的是本来正常（Condition negative），但是误认为是异常（Predicted condition positive）。对应于FP，type Ⅰ error。
漏报，别名漏警，指的是本来异常（Condition positive），但是误认为是正常（Predicted condition negative）。对应于FN，type Ⅱ error。
漏报率+召回率=1
先整理到这里，后期继续更新。
从维基百科词条¹截图如下：

误报率和漏报率的关系

一般来说无法同时降低误报率和漏报率。举个例子来说，某门卫为了防止小偷进入小区，凡是过往人员都要盘查，这时漏报率为0，但是显著提高了误报率；反之如果门卫什么都不做，任由人员出入，那么这是漏报率就会提高，而误报率降低为0。

see also

1. 异常检测
2. 开发和评价一个异常检测系统
3. 异常检测评价指标 balanced accuracy
4. 异常检测中的三种异常

References