对学习器的泛化性能进行评估，不仅仅需要有效可行的实验估计方法，还需要有衡量模型泛华能力的评价标准，这就是性能度量。我们通常会根据不同的业务选出适合的业务指标。
 
评价指标大概有
 
1、回归的有：RMSE(平方根误差)、MAE（平均绝对误差）、MSE(平均平方误差)、Coefficient of determination (决定系数)。
 
2、分类的有：精度、召回率、精确率、F值、ROC-AUC 、混淆矩阵、PRC。
 
3、聚类的有：兰德指数、互信息、轮廓系数。
 
 
 
分类
 
 
 
1.精度（Accuracy）
 
          意义：被正确分类的样本占总样本的比。
 
                       
 
         优点：简单
 
         缺点：精度只是简单地计算出比例，但是没有对不同类别进行区分。因为不同类别错误代价可能不同。例如：判断这个病人是不是病危，如果不是病危错误判断为病危，那只是损失一点医务人员的时间和精力，如果是把病危的人判断为非病危状态，那损失的就是一条人命。他们之间存在重要性差异，这时候就不能用精度。对于样本不均衡的情况，也不是用精度来衡量。例如：有A类1000个，B类5个，如果我把这1005个样本都预测成A类，正确率=1000/1005=99.5%。
 
 
 
2. 混淆矩阵
 
混淆矩阵(Confusion Matrix)
 
 
 
 
 
预测为正样本
 
 
预测为负样本
 
 
标签为正样本
 
 
TP（True Positive对的正样本）
 
 
FN（false Negative错的负样本）
 
 
标签为负样本
 
 
FP（False Positive错的正样本）
 
 
TN（true Negative 对的负样本）
 
（1）.True Postitve Rate(真正率)：正样本中被预测对比例。
 
 
（2）.False Negative Rate(假负率)：正样本被预测错的比例。
 
 
（3）.False Positive Rate(假正率)：负样本被预测错的比例。
 
 
 
 
（4）.True Negative Rate(真负率)：负样本被预测对的比例。
 
 
（5）.Accuracy（准确率）：就是精度。
 
 
（6）.Average per-class accuracy（平均准确率）：每个类别下的准确率的算术平均。
 
 
 
 
3.精确率(Precision)
 
意义：查准。就是预测出来为正样本的结果中，有多少是正确分类。
 
 
通俗理解：做个谨慎认真的人，分类阈值较高
 
 
 
4.召回率（recall）
 
意义：真实为正样本的结果中，有多少是正确分类。
 
 
通俗理解：宁杀错不放过，分类阈值较低
 
但是，两者有时候就比较难去平衡到。
 
怎么说？
 
比如说，10个好苹果，10个坏苹果。
 
 
 
 
 
预测为好苹果
 
 
预测为坏苹果
 
 
标签为好苹果
 
 
2
 
 
8
 
 
标签为坏苹果
 
 
0
 
 
10
 
准确率为（2+10）/20=0.6；
 
精确率为（2）/2=1
 
召回率为（2）/10=0.2
 
虽然 精确率很高，但是不能说明这个模型很好。
 
 
 
再举个栗子。
 
10个好苹果，10个坏苹果。
 
 
 
 
 
预测为好苹果
 
 
预测为坏苹果
 
 
标签为好苹果
 
 
10
 
 
0
 
 
标签为坏苹果
 
 
10
 
 
0
 
 
 
准确率为（10）/20=0.5；
 
精确率为（10）/20=0.5
 
召回率为（10）/10=1
 
虽然召回率很高，但是不能说明这个模型很好。
 
所谓鱼与熊掌不兼得。（虽然这两个栗子都有点极端）。但是如果你想检测更多准确地正样本出来，出错是必不可少的。
 
这时候下面几个指标就出来了~~~
 
 
 
 
 
 
5.F值（F1-score）
 
 
通俗的语言就是：β 越大，Recall的权重越大， 越小，Precision的权重越大。
 
由于Fβ Score 无法直观反映数据的情况，同时业务含义相对较弱，实际工作用到的不多。
 
意义：精确率与召回率的调和平均值，它的值更接近于Precision与Recall中较小的值
 
（β=1）
 
 
 
补充：调和平均数是各变量值倒数的算术平均数的倒数，因而也称为倒数平均数。其计算形式也有简单调和平均数和加权调和平均数两种。加权调和平均数按照调和平均数的定义，是各变量值倒数的加权算术平均数的倒数。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
6.ROC
 
ROC叫作受试者工作特性曲线，反应敏感度和特异度连续变量的综合指标。纵坐标为敏感度，横坐标是特异度。
 
ROC是一个以TPR为纵坐标，FPR为横坐标构造出来的一幅图。
 
我们当然希望TPR越高越好，因为证明覆盖率高；我们也希望FPR越低越好，这证明精确率高。
 
在鱼与熊掌不能兼得的时候，我们找一个界值，这个值越靠近左上角越好。
 
 
简单，直观，可以通过图直接判断。而且把灵敏度和特异性结合，可以同时衡量两者关系。一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting。
 
 
ROC曲线和它相关的比率
 
(a)理想情况下，TPR应该接近1，FPR应该接近0。
 
ROC曲线上的每一个点对应于一个threshold，对于一个分类器，每个threshold下会有一个TPR和FPR。
 
比如Threshold最大时，TP=FP=0，对应于原点；Threshold最小时，TN=FN=0，对应于右上角的点(1,1)
 
(b)随着阈值theta增加，TP和FP都减小，TPR和FPR也减小，ROC点向左下移动；
 
 
 
注：ROC可以在正负样本非均衡中使用原因是：纵坐标TPR只是正样本的正确预测概率，而FPR只是负样本中预测错误的概率，和比例没有关系。
 
 
 
7.AUC
 
AUC(Area under Curve)：Roc曲线下的面积，介于0.1和1之间。Auc作为数值可以直观的评价分类器的好坏，值越大越好。
 
Auc = 1 ，完美分类，对应于roc可以完全做到（1，1）的点。
 
0.5<Auc<1，优于随机猜测。
 
 
 
AUC的物理意义是任取一个正例和任取一个负例，正例排序在负例之前的概率。AUC反应的是分类器对样本的排序能力。另外值得注意的是，AUC对样本类别是否均衡并不敏感，这也是不均衡样本通常用AUC评价分类器性能的一个原因。
 
 
 
 
 
8.比较PR曲线，F1值，ROC曲线，AUC值
 
PR线是以Precision为纵坐标、Recall为横坐标。ROC是以为TPR为纵坐标、FPR为横坐标。在ROC空间，ROC曲线越凸向左上方向效果越好，因为这说明精确率高且覆盖率大。与ROC曲线左上凸不同的是，PR曲线是右上凸效果越好。
 
 
 
ROC和PR曲线都被用于评估机器学习算法对一个给定数据集的分类性能，每个数据集都包含固定数目的正样本和负样本。而ROC曲线和PR曲线之间有着很深的关系。
 
 
 
  定理1：对于一个给定的包含正负样本的数据集，ROC空间和PR空间存在一一对应的关系，也就是说，如果recall不等于0，二者包含完全一致的混淆矩阵。我们可以将ROC曲线转化为PR曲线，反之亦然。
 
 
 
定理2：对于一个给定数目的正负样本数据集，一条曲线在ROC空间中比另一条曲线有优势，当且仅当第一条曲线在PR空间中也比第二条曲线有优势。（这里的“一条曲线比其他曲线有优势”是指其他曲线的所有部分与这条曲线重合或在这条曲线之下。）
 
 
 
当正负样本差距不大的情况下，ROC和PR的趋势是差不多的，但是当负样本很多的时候，两者就截然不同了，ROC效果依然看似很好，但是PR上反映效果一般。解释起来也简单，假设就1个正例，100个负例，那么基本上TPR可能一直维持在100左右，然后突然降到0.如图，(a)(b)分别为正负样本1:1时的ROC曲线和PR曲线，二者比较接近。而(c)(d)的正负样本比例不为为1:1，这时ROC曲线效果依然很好，但是PR曲线则表现的比较差。这就说明PR曲线在正负样本比例悬殊较大时更能反映分类的性能。
 
两者都要看光不光滑，如果不光滑说明有很大问题是过拟合。
 
 
AUC(Area Under Curve)即指曲线下面积占总方格的比例。有时不同分类算法的ROC曲线存在交叉，因此很多时候用AUC值作为算法好坏的评判标准。面积越大，表示分类性能越好。
 
F1兼顾了分类模型的准确率和召回率，可以看作是模型准确率和召回率的调和平均数，最大值是1，最小值是0。
 
--摘自
 
http://www.fullstackdevel.com/computer-tec/data-mining-machine-learning/501.html
 
参考：
 
https://blog.csdn.net/heyongluoyao8/article/details/49408319
 
https://blog.csdn.net/a819825294/article/details/51699211
 
https://www.zhihu.com/search?type=content&q=RMSE%20MAE%20MSE
 
https://zhuanlan.zhihu.com/p/36305931
 
 

现在时刻已经是2019年开始了1个半小时，才打开电脑写一篇流水账。想了几天都不知道写点什么记录，但是在2019年的到来凌晨回来的路上思绪万千，还是决定记录一下吧。
 
2018年回顾：
 
回顾过去的一年时间，工作到年尾不是那么顺利。在大环境的寒冬来到，互联网行业没有以前那么好了，每天都看到大厂裁员，小的公司倒闭。
 
在工作的技能方便，没有学到什么新的技能，还是靠以前的技术解决工作中的问题。买了几本书，也是草草了事的翻阅了一下，不过也学到了他们的设计模式和软件框架的合理设计。没有完成给自己的学习计划，现在出去找工作就遇到问题，要综合性人才(这只是小公司，要什么都会)，但是大公司是要专一(在某一技术领域精通)的员工。这反正是多学点东西没有坏处，技不压身哦。
 
生活方面没有什么要回顾的，就是打工单身一个人，吃不完的快餐和猪脚饭，喝不完的大瓶矿泉水。(为什么每年 每天都是重复这样的方式呢，也是想了很多年，每个人都基本情况一样，心态好一点多看几本成功学，洗脑的书籍其实也没什么)只要身体健康，那就是万事大吉，什么都会有的。
 
再就是国庆节去了父母那边(那是偏远的村庄，引用某人说的话“那是18线城市的级别”，我个人觉得还是可以的，毕竟是开发区和平原(因为我是山沟沟))。去了那边亲人就比较多，反正加起来差不多20个左右哦 。那几天时间也是过的很快的，也有烦恼在耳边，那就是个人问题，看着二叔他们一家人都在一起，也是生活的一种乐趣，小孩多 ，事情也多。每天都忙碌着 ，心里是开心的。所以又想到自己，感慨万千，总的来说是失败的(30岁而立)，没有事业和自己的家庭。突然想起了老罗的一句话“人应该是在不同年龄端就要做相应的事”。已经落后别人一截了，好的心态，去面对一切。
 
2018年收获：
 
年龄又大了一岁晒，2019年就是31岁，只能感叹时间之快。就是身体健康，这收获不小哦。
 
再就是遇到人生中自己觉得喜欢的女孩子(适合结婚的对象)，认识的时间不长 2个多月，总的来说是和平相处，就是吃饭的时间聊一下，其他也基本没时间再一起，也是晚上聊一下(我是脸皮厚)，也就逛了一次公园，去了几次图书馆，看了几次电影。还有好多次都是她付钱搞的我都不好意思。10月24 我过生日，也是去吃的比较简单(潮汕砂锅粥)，那是我不懂，心比较大，没有注意观察（本来就感冒，不能说出话来，全程没说10句以上）没有考虑那么多（点了3个冷菜），有时想起都感觉自己（不知到用什么言语形容好）。反正事情过去了哦，她是说不在乎（当时挺感动，肚里能开航母）。大概过了一个星期左右，给我送的生日礼物（这是我31年收到的第一个礼物(我们那边都不过生日，也没什么礼物的)），但是还是开心的。
 
在一起也谈论过现在，以后的发展方向和职业规划，人生规划。她比较上进，这是值得我学习的地方。也有很多时候比较尴尬，说话不知道说什么好(可能对方在思考自己的问题和事) ，自我感觉三观（人生观，价值观，家庭观）还是一样的(这就不知道她怎么想)。每个人的想法都不一样(见解也不一样)。由于我还年轻(资历和阅历)不能去评价一个人。
 
和她一起走路，还是逛啊，看到一对对的都是拉着手，其实我也是想拉她手一起走(时机不成熟，还没有确定关系,搞的大家都尴尬不好意思)。时间还很长，我们还有活很久。保持好的心态对待事和人。
 
2019年就是实现2018年没有实现的计划哦，关心和爱护自己爱的人，不管事态怎么变化，保持好的心态和脚步。
 
 

    某公司从2015年6月下旬开始启动了一个敏捷开发的项目，截止到8月中旬结束，投入的开发人员、测试人员、管理人员达到60多人，2015年8月31日，由咨询顾问作为主持人带领该团队的10多名核心人员，对整个项目进行了系统回顾总结，整个回顾总结的过程如下：
   1 咨询顾问花了1小时的时间，讲解了进行项目回顾的方法。强调了回顾的目的、方法、步骤、注意事项等，给出了一些公司的总结样例。对本次总结的会议制定了会议规则:
   (1)    对事不对人；
   (2)    不允许跑题；
   (3)    限制每个人的发言时间；
   (4)    每个人都要发言；
   (5)    既要发现缺点，也要发现优点；
   (6)    ……
   2 咨询顾问首先汇总分析了已有的度量数据，包括总体工作量、各种类型人员的工作量投入、缺陷个数、项目的成本等。让团队成员吃惊的数据有两项，整个项目的总成本约为257万元、发现每个bug的成本为1636元。不看数据，没想到公司在整个项目上的投入有那么大，没想到发现缺陷的成本有那么高。
   3 请与会的成员对项目最终的成与败做了评价，将项目的成功等级划分为了5级，与会的16人，11人给出了4分的评价，5人给出了3分评价。
  4 咨询顾问引导大家回顾了在整个开发过程中产生的所有的输出物，针对每种类型的输出物，识别了在产生该输出物的过程中有哪些经验，有哪些教训。
  5咨询顾问引导大家回顾了在整个开发过程中发生的所有的印象深刻的事情，从而从这些事情中总结相关的经验教训。
  大家印象深刻的是发生的重大挫折和项目组中个性突出的成员的趣事。对每个阶段的发生的事情，都进行了相应的总结。
  6 咨询顾问引导大家绘制了项目进展过程中的情感波动曲线，从中去分析大家为什么快乐，为什么沮丧。
  7 为了保证大家的充分发言，进行了简单的20分钟无管理者会议，请项目经理和其他中高层人员离场，大家对与项目管理的问题进行了更多的反思。
  8 在总结会议的结束时期，大家反思了本次总结会的优点与改进点：
         （1）      会前度量数据准备不太充分。
         （2）      气氛不够轻松。
         （3）      时间有点长。
         （4）      应该找一个大的会议室，没有分组讨论。
         （5）      在会议中应该及时整理记录，以便于最终达成一致。
         （6）      应该先个人总结，再小组总结，最后整个项目一起总结。
         （7）      大家都积极讨论了问题。
         （8）      无管理者的沟通会议比较有效。
  9 会议结束后，由记录员系统整理了总结的优点与改进点，所有的发现覆盖了：需求、设计、编码、集成、测试、缺陷修复、项目启动、项目结束、文档编写、产品演示、开发计划、项目跟踪控制、站立会议、看板、团队建设、项目后勤等方面，累计103条发现，其中经验34条，改进点69条。
 

特别说明
 
 
 
1. 本文纯属Fans同学对初中-高中-大学10年学习情况的回顾、总结和分析，如有疑问和建议，欢迎评论和留言。
 
 
 
2. 为保护好友隐私，人名大多使用昵称。
 
 
 
3. 有时好友太多，只写了几个，其余以…代替，莫怪。
 
 
 
4. 有不文明用语和负面言论，见谅！
 
 
 
5. 很多地方有自卖自夸的嫌疑…
 
 
 
精彩回顾
 
 
 
 
 
 
 
 
 
初中3年
 
 
高中3年
 
 
大学4年
 
 
学习环境
 
 
物华天宝
 
 
湖北省枣阳市璩湾镇璩湾一中
 
 
湖北省襄樊市（现襄阳市）襄樊五中
 
 
湖北省武汉市武汉科技大学黄家湖
 
 
学习场所
 
 
教室-家里
 
 
教室-寝室
 
 
寝室-图书馆-教室
 
 
学习方式
 
 
50%上课-50%自学
 
 
30%上课-70%自学
 
 
10%上课-90%自学
 
 
住宿环境
 
 
1人，2人
 
 
12人
 
 
4人
 
 
兴趣性格
 
 
兴趣爱好
 
 
数学，英语，化学，地理，历史…
 
 
化学，历史（有点少）
 
 
软件开发，写作，经济，管理，心理…
 
 
业余活动
 
 
背书，红警等游戏
 
 
看书修炼，游戏（璩湾网吧）
 
 
看书，编程，游戏，写作，散步，外出实习
 
 
性格特点
 
 
保守，腼腆，内向，正派
 
 
内向，孤僻，沉默，怪怪的，顽固，坚强，不正经
 
 
双重性格，怪怪的，很自我，不正经，随意，坚强
 
 
三尺讲台
 
 
老师待遇
 
 
鼓励+表扬+表彰:敲打=9：1
 
 
表扬：敲打=5：5
 
 
 
 
表扬：敲打=1：9
 
 
恩师队伍
 
 
马-李-郭-万-蔺-孙
 
（6到10个）
 
 
老毛？老鹰？龙哥？峰哥？（都不确定）
 
 
老猫？晓风残月？（很少，不确定）
 
 
心态境界
 
 
个人心态
 
 
非常低调
 
 
挑战权威
 
 
低调：高调 = 7：3
 
 
鄙视厌恶
 
 
同窗就知道玩乐，目光短浅
 
 
男的很虚假，女的装可爱，还有人妖
 
 
醉生梦死，奢侈，攀比，眼光狭隘，虚假
 
 
学习境界
 
 
专注-忘我
 
 
心烦意乱
 
 
与世无争
 
 
思想认识
 
 
专注于当下
 
 
乱七八糟
 
 
高瞻远瞩
 
 
考试情况
 
 
专注忘我，竭尽全力
 
 
胡思乱想，考试时还在想别的
 
 
随便看看，70、80分足矣，笔试面试-认真准备，竭尽全力
 
 
一锤定音
 
 
中考第1场语文前15分钟有点紧张，最后1分钟，0.5分也抄不到，后面几场很顺利
 
 
高考前，感冒了，没啥感觉
 
 
找工作，有时很失落和郁闷，也很累
 
 
理想目标
 
 
学习目标
 
 
班级第1，年级第3
 
 
班级前3和年级前200
 
 
毕业后有个好的起点和工作环境（北京，软件开发，6000+）
 
 
个人理想
 
 
1.不想过那种一年到头都是工作的生活。
 
2.初三才想到考个好学校。
 
3.为家里省钱。
 
4.树立一个好榜样。
 
5.读书可以改变命运。
 
 
1.考个好大学。
 
2.将来多挣点钱。
 
3.体验下外面的世界。
 
4.变强，争夺话语权。
 
 
1. 解决金钱问题。资金充足，说话做事才有底气。
 
光有学问和技术远远不够。
 
2.解决××问题，你懂的。
 
3. 1和2解决了，就可以做些伟大的事了…待续...
 
 
奋斗精神
 
 
顽强，积极向上
 
 
顽强，积极向上
 
 
耐得住寂寞
 
 
金榜题名
 
 
学习成绩
 
 
45%第1,55%第2到第7
 
 
平均起来，位于第8到第10
 
 
一年不如一年
 
 
巅峰对决
 
 
中考班级第1，年级第3（有2位大神直接‘保送’到枣阳市一二中了）
 
 
高考班级，20名左右，太低了，不好意思看…
 
 
大学找的工作，满足自己的核心要求…
 
 
奋斗结局
 
 
开心，天道酬勤,名校襄樊五中
 
 
光宗耀祖，哭笑不得，武汉科技大学
 
 
很满意，北京××公司
 
 
获奖情况
 
 
5元红包1个，10元红包6个左右
 
 
一毛不拔
 
 
一毛不拔
 
 
生于忧患
 
 
财政情况
 
 
良好
 
 
粮草不足
 
 
资金充足
 
 
个人磨难
 
 
初2下-初3上半段，比较困惑
 
 
3年都很困惑，以郁闷为主
 
 
大一困惑，大二杯具，大三希望，大四充满斗志
 
 
人生遗憾
 
 
没有与自己的死党保持联系！
 
 
一直在努力，从未超越过！
 
 
没有一个伟大的作品，全都是些不入流的东东，大学时期的玩具而已…
 
 
个人能力
 
 
分析能力
 
 
学习方面的分析能力还好，其它方面没咋思考
 
 
学习方面的分析能力很差，其它方面比较混乱
 
 
较全面，较深入
 
 
记忆力
 
 
很牛
 
 
比较差
 
 
关键话语、词汇，过目不忘，过耳不忘
 
 
读书阅历
 
 
专注于课本
 
 
课本+教辅：课外=5：1
 
 
课本：课外=1：3
 
 
人际关系
 
 
Fans同盟
 
 
死党很少…
 
 
 
 
强弓劲弩，秦时明月
 
（与很多人的关系不够确定，现在仍然不知道是啥情况）
 
 
Wonderful，小明哥…
 
(Soft同盟：刺客，伟哥…)
 
 
支持者
 
 
大把抓:吴越，璩兆龙，钟文豹（没有保持联系）…
 
 
比较少（不太确定，不知道同窗是怎么想的）…
 
 
旭日东升,包子宝宝…
 
(SoftSupporter：小红、大鸟…)
 
 
合作伙伴
 
 
程小龙…
 
 
襄阳一翔,十年磨剑…
 
 
虾米，超哥…
 
 
异性交往
 
 
算不上交往，浮云而已：琚卓，田晓丹，马梦君…
 
 
天若有情，妙手回春…
 
 
 
 
嘻嘻猴，月亮…
 
 
 
 
七嘴八舌
 
 
老师评价
 
 
不合群，认真，好学生
 
 
独行侠，我行我素，钻牛角尖（不解释）
 
 
成绩不好，找工作时，根本不给你机会（真操蛋），很优秀
 
 
同窗评价
 
 
认真，刻苦
 
 
老顽固，喜欢走不同于别人的路，勇于奉献…
 
 
雷大侠，很强，潮人，有路子，憨厚，看好你…
 
 
亲人评价
 
 
听话的孩子，寄生虫
 
 
听话的孩子，有钱途，寄生虫，有个性
 
 
大债主，才子哥哥
 
 
自我评价
 
 
内向，潜力股，听话，孝顺，保守
 
 
激动，坚强，有主见，保守
 
 
值得信赖，超级潜力股，摇钱树，雷神，乐于助人