关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习，分享我在学习过程中的读书笔记！一起来学习，一起来交流，一起来进步吧！

本文同步更细在我的微信公众号中，公众号文章地址：https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247484127&idx=1&sn=9e59dc3f6f8a152e63361c399cb7124c&chksm=ec65335adb12ba4c86d6c5d88dfb0d2d4e5e06e264015cffaf2ce60e6d447fe7f27458f98c99#rd

目录：

（1）错误率(Error rate)和精度(Accuracy)

（2）查准率(准确率-Precision)、查全率(召回率-Recall)

（3）P-R曲线、平衡点和F1度量

2018年4月11日16:00左右，面试了腾讯的《基础研究》实习生职位，面试地点在广州。我投递的岗位是机器学习、深度学习算法工程师，面试结果是一面就挂了。虽然面试没过，还是要总结一下面试经验。把面试中自己回答不好的问题和思考不周全的问题，再仔细梳理一下，进行深入理解和学习。面试过程中，感觉自己回答特别不好的问题就是ROC曲线和AUC面积相关部分。我打算把关于衡量模型性能的指标全部梳理一下，先来总结错误率、精度、查准率、查全率和F1度量。

一、错误率、精度

错误率(Error Rate)：是分类错误的样本数占样本总数的比例。对样例集D，分类错误率计算公式如1所示。

本文是我在阅读西瓜书的时候的一些学习笔记和少许理解，更多的我个人觉得算是抛砖引玉吧，如果有误，请麻烦纠正。

顺带说一句，自从看了《西瓜书》，再也不愁出去买到烂瓜了。

本文内容是机器学习算法的性能度量，西瓜书上对性能度量的定义是：衡量模型泛化能力的评价标准。简单来说就是我们要怎样评价这个算法的优劣。

一、混淆矩阵

混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示[摘自百度百科]。

我们就借鉴书上的二分类混淆矩阵（如果是n分类，那么就是n×n的矩阵），如图所示：

反正就我个人而言，我认为真正例、假正例、假反例、真反例这四个中文是真的难理解，不如从英文的角度来理解这4个定义：

1. 正例：positive，即最后结果是正向的（比如好瓜）；
2. 反例：negative，即最后结果是负向的（比如烂瓜）；
3. TP：True Positive，把正例预测为正例，也就是说，首先预测出来是个正例，其次这是一个真正的正例（比如预测出来是个好瓜，而且是个好瓜）；
4. FP：False Positive，把反例预测为正例，也就是说，首先预测出来是个正例，其次这是个反例（比如预测出来是个好瓜，但是是个烂瓜）；
5. FN：False Negative，把正例预测为反例，也就是说，首先预测出来是个反例，其次这是个正例（比如预测出来是个烂瓜，但是是个好瓜）；
6. TN：True Negative，把反例预测为反例，也就是说，首先预测出来是个反例，其次这是一个真正的反例（比如预测出来是个烂瓜，而且是个烂瓜）。

二、错误率与精度

从上面我们看得出来TP、FP、FN、TN是相互独立的，因为不可能有个瓜预测出来既是好瓜又是烂瓜对吧，所以样本总数 = TP + FP + FN + TN。

1. 错误率

西瓜书上对错误率的定义是：分类错误的样本数占样本总数的比例。

对离散的样例集D，分类错误率为：

• f(x_i)是指学习器学习示例x_i的结果；
• y_i是指示例x_i的真实标记；
• Ⅱ(f(x_i) ≠ y_i)是指如果f(x_i) = y_i则等于0，否则为1。

而对于连续的数据分布D和概率密度p(·)，错误率为：

如果我们使用混淆矩阵来描述错误率，那么如下：

2. 精度

西瓜书上对精度的定义是：分类正确的样本数占样本总数的比例。

对离散的样例集D，分类精度为：

• f(x_i)是指学习器学习示例x_i的结果；
• y_i是指示例x_i的真实标记；
• Ⅱ(f(x_i) = y_i)是指如果f(x_i) = y_i则等于1，否则为0；
• E(f；D)是指错误率。

而对于连续的数据分布D和概率密度p(·)，精度为：

如果我们使用混淆矩阵来描述精度，那么如下：

三、准确率、召回率与F1度量

书上更多的是写的“查准率”（precision）和“查全率”（recall），但是我查了些资料，更多的都是写的准确率与召回率，所以我下面都是些准确率和召回率。

由于书上并没有直接给出准确率和召回率的定义，所以我们不妨先看看他们的公式，再来进行理解。

1. 准确率

准确率的公式如下：

我们不妨把字母代表的意思书写出来，那么这个公式就一目了然了。

那么我们就可以总结出来准确率就是：预测出来为正类中真正的正类所占的比例。

2. 召回率

召回率的公式如下：

还是一样把字母翻译为汉字：

那么我们就可以总结出来召回率就是：预测出来正确的正类占所有真实正类的比例。

3. F1度量

书上写了这么一句话：查准率（准确率）和查全率（召回率）是一对矛盾的度量。一般来说，查准率（准确率）高时，查全率（召回率）往往偏低；而查全率（召回率）高时，查准率（准确率）往往偏低。

这句话我们结合上样本总数 = TP + FP + FN + TN这个公式来思考，因为在TP相同的情况下，FP高了，那么FN和TN肯定会变小，FN高了，那么FP和TN肯定会变小。

但是我们对一个算法的评估，不可能单单只考虑某一个方面的性能，所以我们需要综合考虑准确率和召回率的性能度量，于是就有了平衡点和F1度量。

平衡点很简单，就是准确率 = 召回率的点，比较这几个点与原点之间的欧氏距离得到的大小，越大的越优。

但是这样又会引出一个问题，比如有的算法更倾向于准确率，有的算法更倾向于召回率（详见书32页例子），那么这么一个简单的考虑方法显然就不适用了，于是就引出了F1度量。

F1度量是基于准确率和召回率的调和平均数的倒数由来的，其原本的公式如下：

这里先说一下调和平均数，调和平均数就是n个数的倒数的算数平均数，其主要解决的问题如下：

假设你发现脱发严重，你在家门口扫了架自行车飞到了超市买了瓶霸王，然后心满意足慢慢的走回家，求这个过程你的速度的平均数。
首先我们肯定不可能使用算数平均数，因为来回的速度是完全不同的，连近似都不算，几何平均数也不可能，因为我们不是考虑连续乘积的问题，这时就要使用调和平均数。
因为调和平均数有惩罚机制，会更靠近较小值（重视较小值），从上面例子来看，长度一样，前者时间短，速度快，后者时间长，速度慢，那么对于速度的平均数肯定更靠近于小的这个速度，那么取个倒数，大的值就变小，小的值就变大，所以这个就更趋近于我们想要的结果。

而对于我们这个性能度量问题来说，我们肯定是综合考虑准确率和召回率，那么我们引入这样的惩罚机制就不会使得过小的值发不出声音，从而使评估变得更准确。

当然，书上还有F_β这个加权调和平均，主要是能够更好地衡量召回率与准确率的平均值。（我个人认为在实际运用中这个β其实也可以在算法中训练，看算法更倾向于召回率还是准确率）

附：关于F1度量书上公式的推导过程如下：

四、参考

[1]周志华.机器学习[M].清华大学出版社:北京,2016:28.
[2]论智.调和平均数的含义[EB/OL].https://www.zhihu.com/question/23096098/answer/513277869,2018-10-18.

目录：

（1）错误率(Error rate)和精度(Accuracy)

（2）查准率(准确率-Precision)、查全率(召回率-Recall)

（3）P-R曲线、平衡点和F1衡量

一、错误率、精度

 

错误率(Error Rate)：是分类错误的样本数占样本总数的比例。对样例集D，分类错误率计算公式如1所示。

 

 

 （1）

 

对公式（1）解释：统计分类器预测出来的结果与真实结果不相同的个数，然后除以总的样例集D的个数。

 

精度(Accuracy)：是分类正确的样本数占样本总数的比例。对样例集D，精度计算公式如2所示。

注意：这里的分类正确的样本数指的不仅是正例分类正确的个数还有反例分类正确的个数。

 

 

 （2）

 

对公式（2）的解释：先统计分类正确的样本数，然后除以总的样例集D的个数。

 

二、查准率、查全率

 

（1）查准率、查全率出现的原因：

 

情景一：

错误率和精度虽然常用，但是并不能满足所有任务需求。以西瓜问题为例，假定瓜农拉来一车西瓜，我们用训练好的模型对这些西瓜进行判别，显然，错误率衡量了有多少比例的瓜被判别错误。但是若我们关心的是“挑出的西瓜中有多少比例是好瓜”，或者“所有好瓜中有多少比例被挑了出来”，那么错误率显然就不够用了，这时需要使用其他的性能度量。

 

情景二：

类似的需求在信息检索、Web搜索等应用中经常出现，例如在信息检索中，我们经常会关心“检索出的信息中有多少被检索出来了”。

 

“查准率”与“查全率”是更为适用于此类需求的性能度量。

 

（2）什么是查准率和查全率

 

对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive)、假正例(false positive)、真反例(true negative)、假反例(false negative)四种情形，令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP++TN+FN=样例总数。分类结果的“混淆矩阵”(confusion matrix)如表1所示。

 

  表1：分类结果混淆矩阵

真实情况	预测结果
	正例	反例
正例	TP(真正例)	FN(假反例)
反例	FP(假正例)	TN(真反例)

                           

查准率(Precision)，又叫准确率，缩写表示用P。查准率是针对我们预测结果而言的，它表示的是预测为正的样例中有多少是真正的正样例。定义公式如3所示。

 

 (3)

 

注意：这里大家有一个容易混淆的误区。精度(Accuracy)和准确率(Precision)表示的是不同的概念，计算方法也不同。所以，大家在看paper的时候，要特别注意这些细节。

 

精确度(Accuracy)，缩写表示用A。精确度则是分类正确的样本数占样本总数的比例。Accuracy反应了分类器对整个样本的判定能力(即能将正的判定为正的，负的判定为负的)。定义公式如4所示。

 

 

 (4)

 

查全率(Recall)，又叫召回率，缩写表示用R。查全率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确。定义公式如5所示。

 

 

 (5)

 

注意：大家可以比较一下查准率和查全率的计算公式。其实就是分母不同，查准率的分母是预测为正的样本数。查全率的分母是原样本的所有正样例数。

 

（3）查准率和查全率之间的矛盾

 

查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。

思考一个问题：为什么会有这样的情况呢？

答案：我们可以这样理解，在一个分类器中，你想要更高的查准率，那么你的阈值要设置的更高，只有这样才能有较高的把握确定我们预测是正例是真正例。一旦我们把阈值设置高了，那我们预测出正例的样本数就少了，那真正例数就更少了，查不全所有的正样例。

举个例子来理解一下吧！例如，若希望将好瓜尽可能多地挑选出来，则可通过增加选瓜的数量来实现，如果将所有的西瓜都选上，那么所有的好瓜也必然都选上了，但这样查准率就会较低；若希望选出的瓜中好瓜比例尽可能高，则可只挑选最有把握的瓜，但这样就难免会漏掉不少好瓜，使得查全率较低。通常只有在一些简单任务中，才可能使查全率和查准率都很高。

 

三、P-R曲线、平衡点和F1衡量

 

（1）P-R曲线

 

在很多情形下，我们可根据学习器的预测结果对样例进行排序，排在前面的是学习器认为“最可能”是正例的样本，排在最后的是学习器认为“最不可能”是正例的样本。按此顺序设置不同的阈值，逐个把样本作为正例进行预测，则每次可以计算出当前的查准率、查全率。以查准率为纵轴、查全率为横轴作图，就得到了查准率-查全率曲线，简称“P-R曲线”，显示该曲线的图称为“P-R图”。图1给出了一个示意图。

 

图1：P-R曲线与平衡点示意图

 

P-R图直观地显示出学习器在样本总体上的查全率、查准率。在进行比较时，若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者，例如图1中学习器A的性能优于学习器C；如果两个学习器的P-R曲线发生了交叉，例如图1中的A和B，则难以一般性地断言两者孰优孰劣，只能在具体的查准率或查全率条件下进行比较。然而，在很多情形下，人们往往仍然希望把学习器A与B比出个高低。这时，一个比较合理的判断依据是比较P-R曲线下面积的大小，它在一定程度上表征了学习器在查准率和查全率上取得相对“双高”的比例。但这个值不太容易估算，因此，人们设计了一些综合考虑查准率、查全率的性能度量，比如BEP度量、F1度量。

 

（2）平衡点(BEP)

 

“平衡点”(Break-Even-Point，简称BEP)就是这样一个度量，它是“查准率=查全率”时的取值，例如图1中学习器C的BEP是0.64，而基于BEP的比较，可认为学习器A优于B。

 

（3）F1度量

 

BEP曲线还是过于简化了些，更常用的是F1度量。我们先来谈谈F1度量的由来是加权调和平均，计算公式如6所示。

 

 

 (6)

 

加权调和平均与算术平均和几何平均相比，调和平均更重视较小值。当β=1，即F1是基于查准率与查全率的调和平均定义的，公式如7所示。

 

  （7）

 

我们把公式7求倒数，即得F1度量公式，即公式8所示。

 

 （8）

 

在一些应用中，对查准率和查全率的重视程度有所不同。例如在商品推荐系统中，为了尽可能少打扰用户，更希望推荐内容确实是用户感兴趣的，此时查准率更重要；而在逃犯信息检索系统中，更希望尽可能少漏掉逃犯，此时查全率更重要。F1度量的一般形式是，能让我们表达出对查准率/查全率的不同偏好，它定义为公式9所示。

 

 （9）

 

其中，β>0度量了查全率对查准率的相对重要性。β=1时，退化为标准的F1；β>1时查全率有更大影响；β<1时，查准率有更大影响。

 

Reference：《机器学习》周志华著。