原文：
Python数据处理从零开始----第四章（可视化）(10)二分类ROC曲线​www.jianshu.com
===============================================
混淆矩阵
机器学习中对于分类模型常用混淆矩阵来进行效果评价，混淆矩阵中存在多个评价指标，这些评价指标可以从不同角度来评价分类结果的优劣，以下内容通过简单的理论概述和案例展示来详细解释分类模型中混淆矩阵的评价指标及其用途。
以上四类判别结果展示在混淆矩阵上是一个两行两列的交叉矩阵，行分别代表实际的正例和负例，列分别代表预测的正例和负例。那么在以上矩阵中：四个象限分别代表四种判别结果：
左上角被称为真阳性（True Positive,TP）:样本实际为正例，且模型预测结果为正例；
右上角被称为假阴性（False Negative，FN）:样本实际为正例，但模型预测为负例；
左下角被称为假阳性（False Positive，FP）：样本实际类别为负例，但模型预测为正例；
右下角被称为真阴性（True Negative，TN）：样本实际类别为负例，且模型预测为负例。
混淆矩阵的四个象限有明显的规律，左上角至右下角的对角线上是预测正确（以T开头），另一条对角线则预测错误（以F开头），左侧上下象限是预测为真的类别（以P结尾），右侧上下象限为预测错误的类别（以N结尾）。
这样真个混淆矩阵看起来就清洗多了，围绕着混淆矩阵有几个比较重要的指标需要掌握。
ROC曲线、AUC指标
ROC的全名叫做Receiver Operating Characteristic，主要通过平面坐标系上的曲线来衡量分类模型结果好坏——ROC curve。横坐标是false positive rate(FPR)，纵坐标是true positive rate(TPR)。以上纵坐标的TPR即是上述的指标召回率，FPR则指代负样本中的错判率（假警报率），FPR = FP/(FP + TN) 。
典型的ROC曲线是一个位于坐标点（0,0）和（1,1)对角线上方的曲线，因为对角线代表着随机分类器的分类效果。ROC曲线只能通过图形来进行视觉判别，取法具体量化分类器的性能，于是AUC便出现了，它用来表示ROC曲线下的三角形面积大小，通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的performance。
导入包
%clear %reset -f # In[*] import numpy as np import matplotlib.pyplot as plt from sklearn import svm, datasets from sklearn.metrics import roc_curve, auc  ###计算roc和auc from sklearn import cross_validation 
划分训练集和测试集
# In[*] # Import some data to play with iris = datasets.load_iris() X = iris.data y = iris.target   ##变为2分类 X, y = X[y != 2], y[y != 2]   # Add noisy features to make the problem harder random_state = np.random.RandomState(0) n_samples, n_features = X.shape X = np.c_[X, random_state.randn(n_samples, 200 * n_features)]   # shuffle and split training and test sets X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, y, test_size=.3,random_state=0) 
建模（支持向量机）
# In[*] # Learn to predict each class against the other svm = svm.SVC(kernel='linear', probability=True,random_state=random_state) ###通过decision_function()计算得到的y_score的值，用在roc_curve()函数中 y_score = svm.fit(X_train, y_train).decision_function(X_test) 
计算AUC以及绘图
# Compute ROC curve and ROC area for each class fpr,tpr,threshold = roc_curve(y_test, y_score) ###计算真正率和假正率 roc_auc = auc(fpr,tpr) ###计算auc的值  # In[*] plt.figure() lw = 2 plt.figure(figsize=(10,10)) plt.plot(fpr, tpr, color='darkorange',          lw=lw, label='ROC curve (area = %0.2f)' % roc_auc) ###假正率为横坐标，真正率为纵坐标做曲线 plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver operating characteristic example') plt.legend(loc="lower right") plt.show()  

AUC的英文全称为 Area Under Curve，AUC的意思是曲线下面积，在计算广告学中，AUC经常用于统计ROC曲线的面积，用来量化评估广告的CTR质量。这里再解释一下ROC的含义，ROC全称为：Receiver Operating Characteristics (ROC) graphs ROC经常被用于模式识别、分类器的结果展现和性能评测。传统的ROC曲线多用于医学检测领域，2000年以后，在机器学习、数据挖掘领域开始有使用。

因为在一些应用场景中，accuracy这样传统的度量标准很难恰当的反应分类器的效果。例如：测试样本中有A类样本90个，B 类样本10个。分类器C1把所有的测试样本都分成了A类，分类器C2把A类的90个样本分对了70个，B类的10个样本分对了5个。则C1的分类精度为
 90%，C2的分类精度为75%。但是，显然C2更有用些。另外，在一些分类问题中犯不同的错误代价是不同的(cost sensitive learning)。这样，默认0.5为分类阈值的传统做法也显得不恰当了。这也被称为样本在不同类别上的不均衡分布问题(class distribution imbalance problem)。

ROC是二维平面上的曲线，平面的横坐标是false positive rate(FPR)，纵坐标是true positive rate(TPR)，对某个待评估的数据挖掘方法而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对。这样，分类器就可以映射成ROC平面上的一个点，这些点构成一个阶梯状的曲线，计算的AUC也就是这些阶梯下面的面积之和

在广告中，根据CTR预测的高低，将最有可能被用户点击的广告按顺序依次展现，根据点击反馈，可以生成ROC曲线（y方向，点击+1；x方向，未点击+1），很明显，用户点击的越多，被点击的广告排序越靠前，ROC曲线下的面积越大，即AUC越大，则表明广告投放的效果越好，也就是CTR预测越准确

(陈运文)

在具体应用AUC作为Metrics方法时，又有很多变化，如果要深入了解，以下三篇文献应该很有帮助：



An introduction to ROC analysis


T Fawcettin Pattern Recognition Letters (2006)





A critical analysis of
 variants of the AUC


Stijn Vanderlooy, Eyke Hüllermeierin Machine
 Learning (2008)




ROC
 Graphs:Notes and Practical Considerations for Researchers

Tom Fawcett in ReCall(2004)

附一段AUC计算的Python代码：





[python] view
 plain copy





<span style="font-style: normal;">def scoreClickAUC(num_clicks, num_impressions, predicted_ctr):  

    """ 

    Calculates the area under the ROC curve (AUC) for click rates 

     

    Parameters 

    ---------- 

    num_clicks : a list containing the number of clicks 

 

    num_impressions : a list containing the number of impressions 

 

    predicted_ctr : a list containing the predicted click-through rates 

 

    Returns 

    ------- 

    auc : the area under the ROC curve (AUC) for click rates 

    """  

    i_sorted = sorted(range(len(predicted_ctr)),key=lambda i: predicted_ctr[i],  

                      reverse=True)  

    auc_temp = 0.0  

    click_sum = 0.0  

    old_click_sum = 0.0  

    no_click = 0.0  

    no_click_sum = 0.0  

  

    # treat all instances with the same predicted_ctr as coming from the  

    # same bucket  

    last_ctr = predicted_ctr[i_sorted[0]] + 1.0  

  

    for i in range(len(predicted_ctr)):  

        if last_ctr != predicted_ctr[i_sorted[i]]:  

            auc_temp += (click_sum+old_click_sum) * no_click / 2.0  

            old_click_sum = click_sum  

            no_click = 0.0  

            last_ctr = predicted_ctr[i_sorted[i]]  

        no_click += num_impressions[i_sorted[i]] - num_clicks[i_sorted[i]]  

        no_click_sum += num_impressions[i_sorted[i]] - num_clicks[i_sorted[i]]  

        click_sum += num_clicks[i_sorted[i]]  

    auc_temp += (click_sum+old_click_sum) * no_click / 2.0  

    auc = auc_temp / (click_sum * no_click_sum)  

    return auc</span>  






[python] view
 plain copy





def main():  

    import sys  

    if len(sys.argv) != 3:  

        print("Usage: python scoreKDD.py solution_file.csv submission_file.csv")  

        sys.exit(2)  

  

    num_clicks, num_impressions = read_solution_file(sys.argv[1])  

    predicted_ctr = read_submission_file(sys.argv[2])  

  

    auc = scoreClickAUC(num_clicks, num_impressions, predicted_ctr)  

    print("AUC  : %f" % auc)
  

《Python机器学习基础教程》笔记

总结监督模型在给定数据集上的表现有很多种方法，例如，精度、混淆矩阵、准确率、召回率、f-分数、准确率召回率曲线、ROC曲线以及AUC。下面先以二分类为例，解释各种评估指标的含义，然后再拓展多分类的指标，最后简单介绍一下回归指标。

一、二分类

首先需要掌握几个术语的含义：

①假正例（FP）：预测错误，预测为“正”类，但实际是“反”类。

②假反例（FN）：预测错误，预测为“反”类，但实际是“正”类。

③真正例（TP）：预测正确，预测为“正”类，实际也是“正”类。

④真反例（TN）：预测正确，预测为“反”类，实际也是“反”类。

1. 精度：正确分类的样本所占的比例。



2. 混淆矩阵：行对应真实标签，列对应预测标签。对角线上的元素对应于正确的分类，而其他元素则告诉我们一个类别中有多少样本被错误地划分到其他类别中。即



3. 准确率：被预测为正例的样本中有多少是真正的正例。



4. 召回率：正类样本中有多少被预测为正类。



5. f-分数：准确率与召回率的调和平均



6. 准确率召回率曲线：对decision_function的每一个阈值，求得一个准确率和召回率，分别作为横坐标和纵坐标作图。

总结准确率-召回率曲线的一种方法是计算该曲线下的积分或面积，也叫作平均准确率。

7. ROC曲线：和准确率召回率曲线类似，纵坐标为召回率，但横坐标为假正例率（反类样本中被误判为正类的样品比例）：



对于ROC曲线，理想的曲线要靠近左上角（召回率高、假正例低）

8. AUC：ROC曲线下的面积。

二、多分类

1. 多分类问题的所有指标基本上都来着于二分类指标，但是要对所有类别进行平均。利用classification_report函数，可以计算每个类别的准确率、召回率和f-分数。

2. 对于多分类问题中的不平衡数据集，最常用的指标就是多分类版本的f-分数。多分类f-分数背后的想法是，对每个类别计算一个二分类f-分数，其中该类别是正类，其他所有类别组成反类，然后使用以下策略之一对这些按类别f-分数进行平均：

①宏平均：计算未加权的按类别 f1-分数，对所有类别给出相同权重。

②加权平均：以每个类别的支持作为权重来计算按类别 f1-分数的平均值。

③微平均：计算所有类别中假正例、假反例和真正例的总数，然后利用这些计数来计算准确率、召回率和 f1-分数。

如果对每个样本等同看待，那么推荐使用微平均 f1-分数，如果对每个类别等同看待，则推荐使用宏平均 f1-分数。

三、回归指标

是评估回归模型的直观指标。

四、总结

Scikit-Learn提供了一种非常简单的评估方法，即scoring参数，它可以同时用于GridSearchCV和cross_val_score，只需要提供一个字符串，用于描述要使用的评估指标即可。

对于分类问题，scoring参数最重要的取值包括：accuracy（默认值）、roc_auc（ROC曲线下方的面积）、average_precision（准确率-召回率曲线下方的面积）、f1、f1_macro、f1_micro、f1_weighted；对于回归问题，最常用的取值包括：r2（分数）、mean_squared_error（均分误差）和mean_absolute_error（平均绝对误差）。

ROC（receiver operating characteristic curve）：接收者操作特征曲线。

AUC(Area Under Curve)：上面曲线与X, Y轴形成的最大面积。
如果你实在不理解ROC的中文注解，那就简单了解一下就行了， 点到为止吧！
步入正题

Step1: ROC

首先告诉你ROC的作用，你就能大概知道这个曲线大概是啥了：它用来衡量你的模型分类结果有多准确。
在列举几个你比须明白且简单的概率。


真_正例率（TPR， True Positive Rate）：你预测出的真的阳性数量（就是实际他是阳性，模型预测也是阳性） / 所有阳性的数量
假_正例率（FPR, False Positive Rate）：你预测出的假的阳性数量（就是实际他是阴性，模型却预测是阳性） / 所有阴性的数量
在简单一点理解，真_正例率（TP）指模型好！， 假_正例率（FP）指模型差！
ROC就是用上面两个值来绘制的曲线。看下图

中间的虚线代表模型最不好， TP和FP相等，所以模型完全随机分类， 红色的线代表模型分类效果还可以，TP>FP，当然如果是直接向上的话模型最好。那抬个杠， 如果曲线在虚线下边呢， 在下边的话就反向预测就OK了！
Step2：AUC



AUC即图示阴影面积， 当你读完上面ROC的原理时，其实AUC面积所代表的东西你也懂了吧。

结束结束end! 要钻研决策树了！ 再会!