精华内容
下载资源
问答
  • 准确率、召回率和F值的关系

    千次阅读 2015-05-22 22:48:21
    F值 。   F-Measure是准确率(P)和召回率(R)的加权调和平均。公式为:  当参数α=1时,就是最常见的F1,即  可见F1综合了P和R的结果,可用于综合评价实验结果的质量。    参考...

            在信息检索、统计分类、识别、预测、翻译等领域,两个最基本指标是准确率和召回率,用来评价结果的质量。

            准确率Precision),又称“精度”、“正确率”、“查准率”,表示在检索到的所有文档中,检索到的相关文档所占的比例。

            召回率Recall),又称“查全率”,表示在所有相关文档中,检索到的相关文档所占的比率。

            两者的公式为:

            准确率 = 检索到的相关文档数量 / 检索到的所有文档总数

            召回率 = 检索到的相关文档数量 / 系统中所有相关文档的总数

            图示如下:


            举例来说:一个数据库中有500个文档,其中有50个文档符合定义的问题。系统检索到75个文档,其中只有45个文档符合定义的问题。

            准确率 = 45 / 75 = 60%

            召回率 = 45 / 50 = 90%

            若将所有文档都检索到,这些指标有何变化:

            准确率 = 50 / 500 = 10%

            召回率 = 50 / 50 = 100%

            可见,准确率和召回率是相互影响的,理想情况下肯定是两者都高,但是一般情况下准确率高,召回率就低;召回率高,准确率就低;如果两者都低,那肯定是什么环节有问题了。

            比如,在检索系统中,如果希望提高召回率,即希望更多的相关文档被检索到,就要放宽“检索策略”,便会在检索中伴随出现一些不相关的结果,从而影响到准确率。如果希望提高准确率,即希望去除检索结果中的不相关文档时,就需要严格“检索策略”,便会使一些相关文档不能被检索到,从而影响到召回率。

            针对不同目的,如果是做搜索,那就是优先提高召回率,在保证召回率的情况下,提升准确率;如果做疾病监测、反垃圾,则是优先提高准确率,保准确率的条件下,提升召回率。


            那么,在两者都要求高的情况下,如何综合衡量准确率和召回率呢?一般使用F值

            F-Measure是准确率(P)和召回率(R)的加权调和平均。公式为:

           当参数α=1时,就是最常见的F1,即

           可见F1综合了P和R的结果,可用于综合评价实验结果的质量。

     

           参考资料:

           http://blog.csdn.net/taohuaxinmu123/article/details/9833001

    http://blog.csdn.net/wangzhiqing3/article/details/9058523

    http://baike.baidu.com/link?url=ztYa_FDxGrdW-Rp22-Rd0T-4nK-elp-dZEcPl0hCK7g7A2AZtwnokUbwwYLO7Xld4-FL6VxEoIizWwMBc2E1R_

     


    展开全文
  • 再互联网广告的推荐系统和反作弊的实践中经常遇到准确率,召回率,F值几个东西,刚入行的时候,我经常搞混,直到后来我逐渐明白了。举个列子!我们用一个模型去判断一段时间的作弊流量,假设该段时间的流量是100个,...

    再互联网广告的推荐系统和反作弊的实践中经常遇到准确率,召回率,F值几个东西,刚入行的时候,我经常搞混,直到后来我逐渐明白了。
    举个列子!

    我们用一个模型去判断一段时间的作弊流量,假设该段时间的流量是100个,作弊的是25个,没有作弊的是75个,假设这里正样本为没有作弊的流量。
    然后我们用lstm模型去预测,结果是70个没有作弊的,但是经检查,我们把其中69个正样本预测为没有作弊,把1个负样本预测为没有作弊

    那么再我这个列子里面p=69/70(被预测为正样本且真的是正样本的数量/被预测为正样本的数量)
    那么R=69/75(样本中的正例有多少个被预测正确了)

    F值

    可能很多人就会问了,有了召回率和准去率这俩个评价指标后,不就非常好了,为什么要有F值这个评价量的存在呢?


    按照高中政治老师所说的,存在即合理的说法,既然F值存在了,那么一定有它存在的必要性,哈哈哈哈!


    我们在评价的时候,当然是希望检索结果Precision越高越好,同时Recall也越高越好,但事实上这两者在某些情况下有矛盾的。


    比如在我这个例子里就是这样,为此为了对模型的效果做一个综合的评价,所以才有了F值

    F=(2*P*R)/P+R
    其实这个公式我是记不住的,更多的时候你只需要会看调参页面就行了。
    展开全文
  • 准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量,用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率,衡量的是检索系统的查准率;召回率是指检索出的相关文档数和文档库中...

    1、准确率与召回率(Precision & Recall)

    准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率,衡量的是检索系统的查准率;召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率,衡量的是检索系统的查全率。

    • 若一个实例是正类,但是被预测成为正类,即为真正类(True Postive TP)
    • 若一个实例是负类,但是被预测成为负类,即为真负类(True Negative TN)
    • 若一个实例是负类,但是被预测成为正类,即为假正类(False Postive FP)
    • 若一个实例是正类,但是被预测成为负类,即为假负类(False Negative FN)

    针对每个预测,分别统计TP(预测答案正确),FP(错将其他类预测为本类),FN(本类标签预测为其他类标)。

    1. 准确率
      在这里插入图片描述
    2. 召回率
      在这里插入图片描述
      两者取值在0和1之间,数值越接近1,查准率或查全率就越高。
    举个栗子:

    某个湖中有1000条草鱼, 500只小龙虾, 500只甲鱼。现在假设我们以捕获草鱼为目标,每一次捕捉都是有放回的(保证各个种类数量不变)。

    • 第一次捕捉到(放回),800条草鱼, 200只小龙虾, 300只甲鱼,那么指标为:

      precision = 800 / (800 + 200 + 300) = 800 / 1300 ≈ 61.54%
      recall = 800 / 1000 = 80%

    • 第二次将所有的草鱼、小龙虾、甲鱼全部捕捉上来,指标为:

      precision = 1000 / (1000 + 500 + 500) = 1000 / 2000 = 50%
      recall = 1000 / 1000 = 100%

    此可见,正确率是评估捕获的成果中目标成果所占得比例;召回率,顾名思义,就是从关注领域中,召回目标类别的比例

    2、综合评价指标(F-Measure)

    P和R指标有时候会出现的矛盾的情况,这样就需要综合考虑他们,最常见的方法就是F-Measure(又称为F-Score)
    F-Measure是Precision和Recall加权调和平均:
    在这里插入图片描述
    当参数α=1时,就是最常见的F1:
    在这里插入图片描述
    如果类别为多类,则F1-score 求均值:
    在这里插入图片描述
    F值,则是综合这二者指标的评估指标,用于综合反映整体的指标。分类比赛都是以F1作为指标的。

    3.平均正确率(Average Precision, AP)

    在这里插入图片描述
    在这一积分中,其中p代表Precision ,r代表Recall,p是一个以r为参数的函数。

    实际上这一积分极其接近于这一数值:对每一种阈值分别求(Precision值)乘以(Recall值的变化情况),再把所有阈值下求得的乘积值进行累加。公式如下:
    在这里插入图片描述
    在这一公式中,N代表测试集中所有图片的个数,P(k)表示在能识别出k个图片的时候Precision的值,而 Delta r(k) 则表示识别图片个数从k-1变化到k时(通过调整阈值)Recall值的变化情况。

    IoU

    IoU这一值,可以理解为系统预测出来的框与原来图片中标记的框的重合程度。
    计算方法即检测结果Detection Result与 Ground Truth 的交集比上它们的并集,即为检测的准确率:

    在这里插入图片描述
    如下图所示:
    蓝色的框是:GroundTruth
    黄色的框是:DetectionResult
    绿色的框是:DetectionResult ⋂ GroundTruth
    红色的框是:DetectionResult ⋃ GroundTruth
    在这里插入图片描述

    展开全文
  • 准确率(Precision)、召回率(Recall)以及F值(F-Measure)

    万次阅读 多人点赞 2014-07-06 22:43:05
    mAP是为解决P,R,F-measure的单点局限性的。为了得到 一个能够反映全局性能的指标,可以看考察下图,其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线   可以看出,虽然两个系统...

    在信息检索、分类体系中,有一系列的指标,搞清楚这些指标对于评价检索和分类性能非常重要,因此最近根据网友的博客做了一个汇总。

    准确率、召回率、F1

    信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)准确率(Precision Rate),召回率也叫查全率,准确率也叫查准率,概念公式:

                 召回率(Recall)      =  系统检索到的相关文件 / 系统所有相关的文件总数

                 准确率(Precision) =  系统检索到的相关文件 / 系统所有检索到的文件总数

    图示表示如下:


    注意:准确率和召回率是互相影响的,理想情况下肯定是做到两者都高,但是一般情况下准确率高、召回率就低,召回率低、准确率高,当然如果两者都低,那是什么地方出问题了。一般情况,用不同的阀值,统计出一组不同阀值下的精确率和召回率,如下图:

     

     

    如果是做搜索,那就是保证召回的情况下提升准确率;如果做疾病监测、反垃圾,则是保准确率的条件下,提升召回。

    所以,在两者都要求高的情况下,可以用F1来衡量。

    [python] view plaincopy
    1. F1 = 2 * P * R / (P + R)  

     

    公式基本上就是这样,但是如何算图1中的A、B、C、D呢?这需要人工标注,人工标注数据需要较多时间且枯燥,如果仅仅是做实验可以用用现成的语料。当然,还有一个办法,找个一个比较成熟的算法作为基准,用该算法的结果作为样本来进行比照,这个方法也有点问题,如果有现成的很好的算法,就不用再研究了。

     

    AP和mAP(mean Average Precision)

    mAP是为解决P,R,F-measure的单点值局限性的。为了得到 一个能够反映全局性能的指标,可以看考察下图,其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线

     

    可以看出,虽然两个系统的性能曲线有所交叠但是以圆点标示的系统的性能在绝大多数情况下要远好于用方块标示的系统。

    从中我们可以 发现一点,如果一个系统的性能较好,其曲线应当尽可能的向上突出。

    更加具体的,曲线与坐标轴之间的面积应当越大。

    最理想的系统, 其包含的面积应当是1,而所有系统的包含的面积都应当大于0。这就是用以评价信息检索系统的最常用性能指标,平均准确率mAP其规范的定义如下:(其中P,R分别为准确率与召回率)


    ROC和AUC

    ROC和AUC是评价分类器的指标,上面第一个图的ABCD仍然使用,只是需要稍微变换。



    回到ROC上来,ROC的全名叫做Receiver Operating Characteristic。

    ROC关注两个指标

       True Positive Rate ( TPR )  = TP / [ TP + FN] ,TPR代表能将正例分对的概率

       False Positive Rate( FPR ) = FP / [ FP + TN] ,FPR代表将负例错分为正例的概率

    在ROC 空间中,每个点的横坐标是FPR,纵坐标是TPR,这也就描绘了分类器在TP(真正的正例)和FP(错误的正例)间的trade-off。ROC的主要分析工具是一个画在ROC空间的曲线——ROC curve。我们知道,对于二值分类问题,实例的值往往是连续值,我们通过设定一个阈值,将实例分类到正类或者负类(比如大于阈值划分为正类)。因此我们可以变化阈值,根据不同的阈值进行分类,根据分类结果计算得到ROC空间中相应的点,连接这些点就形成ROC curve。ROC curve经过(0,0)(1,1),实际上(0, 0)和(1, 1)连线形成的ROC curve实际上代表的是一个随机分类器。一般情况下,这个曲线都应该处于(0, 0)和(1, 1)连线的上方。如图所示。


    用ROC curve来表示分类器的performance很直观好用。可是,人们总是希望能有一个数值来标志分类器的好坏。

    于是Area Under roc Curve(AUC)就出现了。顾名思义,AUC的值就是处于ROC curve下方的那部分面积的大小。通常,AUC的值介于0.5到1.0之间,较大的AUC代表了较好的Performance。

    AUC计算工具:

    http://mark.goadrich.com/programs/AUC/

    P/R和ROC是两个不同的评价指标和计算方式,一般情况下,检索用前者,分类、识别等用后者。

    参考链接:

    http://www.vanjor.org/blog/2010/11/recall-precision/

    http://bubblexc.com/y2011/148/

    http://wenku.baidu.com/view/ef91f011cc7931b765ce15ec.html


    最近一直在做相关推荐方面的研究与应用工作,召回率与准确率这两个概念偶尔会遇到,知道意思,但是有时候要很清晰地向同学介绍则有点转不过弯来。
    召回率和准确率是数据挖掘中预测、互联网中的搜索引擎等经常涉及的两个概念和指标。
    召回率:Recall,又称“查全率”——还是查全率好记,也更能体现其实质意义。
    准确率:Precision,又称“精度”、“正确率”。

    以检索为例,可以把搜索情况用下图表示:

    相关
    不相关
    检索到
    A
    B
    未检索到
    C
    D

     

     



    A:检索到的,相关的                (搜到的也想要的)
    B:检索到的,但是不相关的          (搜到的但没用的)
    C:未检索到的,但却是相关的        (没搜到,然而实际上想要的)
    D:未检索到的,也不相关的          (没搜到也没用的)

    如果我们希望:被检索到的内容越多越好,这是追求“查全率”,即A/(A+C),越大越好。
    如果我们希望:检索到的文档中,真正想要的、也就是相关的越多越好,不相关的越少越好,这是追求“准确率”,即A/(A+B),越大越好。
     
    “召回率”与“准确率”虽然没有必然的关系(从上面公式中可以看到),在实际应用中,是相互制约的。要根据实际需求,找到一个平衡点。

    往往难以迅速反应的是“召回率”。我想这与字面意思也有关系,从“召回”的字面意思不能直接看到其意义。“召回”在中文的意思是:把xx调回来。“召回率”对应的英文“recall”,recall除了有上面说到的“order sth to return”的意思之外,还有“remember”的意思。
    Recall:the ability to remember sth. that you have learned or sth. that has happened in the past.
    当我们问检索系统某一件事的所有细节时(输入检索query查询词),Recall指:检索系统能“回忆”起那些事的多少细节,通俗来讲就是“回忆的能力”。“能回忆起来的细节数” 除以 “系统知道这件事的所有细节”,就是“记忆率”,也就是recall——召回率。简单的,也可以理解为查全率。



    参考 http://blog.csdn.net/taohuaxinmu123/article/details/9833001

    展开全文
  • 从本专栏开始,作者正式开始研究Python...本文将分享如何评价神经网络,绘制训练过程中的loss曲线,并结合图像分类案例讲解精确率、召回率和F值的计算过程。本文可以指导您撰写简单的深度学习论文,希望对您有所帮助。
  • F值,则是综合这二者指标的评估指标,用于综合反映整体的指标。 当然希望检索结果Precision越高越好,同时Recall也越高越好,但事实上这两者在某些情况下有矛盾的。比如极端情况下,我们只搜索出了一个结果,...
  • 或者紫罗兰0x7F00FF 这样的颜色进行明暗变化 若复杂一点的 深紫罗兰色0x8A2BE2, 深兰花紫0x9932CC 就没办法用某几个的线性下降来达到不改变色调和饱和度控制明暗 个人认为目前只有找到某种可调使RGB变化...
  • 在图像处理中,图像像素的依赖于输入...以f(i,j)代表原像素,g(i,j)为输出像素的,α和β为两个参数,则可以通过以下公式对图像像素进行数值运算从而达到调节图像亮度和对比度的目的。 g(i,j)= αf(i,j)+ β
  • 一直不明白为什么要使用指针?...void f(int i) //函数作用是 传入一个i,然后将这个i改为100,但问题是修改之后这个能传递给主函数中吗??? { i = 100; // } int main(void) { int i = 9; f(&am...
  • 用 Grid Search 对 SVM 进行

    万次阅读 多人点赞 2017-06-27 06:58:53
    上一次用了验证曲线来找最优超...首先为想要参的参数设定一组候选,然后网格搜索会穷举各种参数组合,根据设定的评分机制找到最好的那一组设置。以支持向量机分类器 SVC 为例,用 GridSearchCV 进行参:from skle
  • 3.支付的回统一处理

    千次阅读 2016-07-29 23:23:13
    在支付宝、微信支付sdk接入的过程中,处理支付回、退款回等操作一直让人头痛。Payment通过依赖注入的方式将业务与支付回行为进行分离。切底让客户端专注业务。简单方便的跳用。
  • Android RxJava 实战系列:优雅实现 网络请求嵌套回

    万次阅读 多人点赞 2017-10-23 09:47:46
    Rxjava,由于其基于事件流的链式调用、逻辑简洁 & 使用简单的特点,深受各 Android开发者的欢迎。 如果还不了解RxJava,请看文章:Android:这是一篇 清晰 & 易懂的Rxjava 入门教程 RxJava如此受欢迎的原因,...
  • nodejs回大坑

    千次阅读 2016-04-27 08:57:52
    最近看到nodejs,因为有一个处理里面有好几个异步操作,调入回大坑,不禁觉得很...Node.js需要按顺序执行异步逻辑时一般采用后续传递风格,也就是将后续逻辑封装在回函数中作为起始函数的参数,逐层嵌套。这种风
  • 函数

    千次阅读 多人点赞 2019-09-09 17:36:28
    函数就是一个通过函数指针调用的函数。如果你把函数的指针(地址)作为参数传递给另一个函数,当这个指针被用来调用其所指向的函数时,我们就说这是回函数。回函数不是由该函数的实现方直接调用,而是在特定...
  • 大家好,今天我们继续学习...今天是这个Glide系列的第四篇文章,我们又要选取一个新的功能模块开始学习了,那么就来研究一下Glide的回和监听功能吧。今天的学习模式仍然是以基本用法和源码分析相结合的方式来进行的
  • 机器学习模型选择:参参数选择

    万次阅读 2016-10-23 16:49:22
    http://blog.csdn.net/pipisorry/article/details/52902797参经验好的实验环境是成功的一半由于深度学习实验超参众多,代码风格良好的实验环境,可以让你的人工或者自动参更加省力,有以下几点可能需要注意:将...
  • 这篇文章详细地介绍了GBM模型。我们首先了解了何为boosting,然后详细介绍了各种参数。 这些参数可以被分为3类:...最后我们提到了用GBM解决问题的 一般方法,并且用AV Data Hackathon 3.x problem数据运用了这些方法。
  • 文件计算MD5 ——Python

    千次阅读 2017-07-19 11:02:09
    import hashlib m=hashlib.md5()f=open(file_path,'rb') #以二进制读的方式打开文件 for line in f: #每次传入一"行" m.update(line) #md5更新 md5_value=m.hexdigest() #进制转化
  • 调频 相 与 通信

    万次阅读 多人点赞 2017-06-15 17:20:18
    信号的调制:幅 调频 相 ----------------------  1. 振幅变,也可简称为幅,AM(Amplitude Modulation),通过改变输出信号的振幅,  来实现传送信息的目的。一般在调制端输出的高频信号的幅度变化与原始...
  • 随机森林参示例

    千次阅读 多人点赞 2018-04-01 14:56:14
    前言:特意写在前面,在参的过程中,一定不要一次调整个参数,理论是是可以,但那样不仅耗时,而且不好细微的参,我就以我用随机森林的例子为例,我一次性调整了4个参数,大概花费了我差不多4个小时的时间,...
  • 浅谈js中的回地狱问题

    万次阅读 多人点赞 2019-02-21 22:54:16
    浅谈js中的回地狱问题 什么是回地狱 说起回地狱 首先想到的是异步 在js中我们经常会大量使用异步回,例如使用ajax请求 我们来看下面这段代码:function a(functionb(){ c(function d(){ }) }) 我们...
  • 当平方误差和(Sum of Squared Errors)作为成本函数时, ∂F(ωj)∂ωj\frac{∂F(ω_j)} { ∂ω_j} 会随着训练集数据的增多变得越来越,因此学习率需要被设定在相应更小的上。 解决此类问题的一个方法是将...
  • 不均匀光照文本图像的二

    万次阅读 多人点赞 2015-08-18 17:44:35
    因为文本图像的背景是不均匀的,所以想先求出图片的背景,再用原图减去背景,就会得出文本的内容,再进行二化,就是我们想要的结果。 以下是详细的思路: 首先要估算出原始图片的背景图。 Is(x,y)点的背景...
  • STM32输出 PWM频率 占空比 连续可调~~

    千次阅读 2019-04-23 17:38:21
    话不说 直接上代码 我的平台是 stm32F407VGT6 PA0 输出 使用定时器TIM2 //编程输出可调的硬件PWM,频率范围1Hz - 1MHz,占空比0 - 100 % uint32_t TIM2_PWM_FQ = 50; /* TIM2_CH1_PWM输出 频率设置,1-1000000...
  • pwm电机速的原理介绍与代码实现

    千次阅读 多人点赞 2020-12-22 22:14:39
    1、pwm实现速的原理与介绍 PWM(Pulse Width Modulation)脉冲宽度调制。 1)占空比 pwm占空比就是一个脉冲周期内有效电平在整个周期所占的比例。 通过调节PWM的占空比就能调节IO口上电压的持续性变化,因此也能够...
  • Keras中的回函数Callbacks详解

    万次阅读 多人点赞 2019-07-07 21:28:58
    函数是一组在训练的特定阶段被调用的函数集,你可以使用回函数来观察训练过程中网络内部的状态和统计信息。通过传递回函数列表到模型的.fit()中,即可在给定的训练阶段调用该函数集中的函数。 虽然我们称之...
  • 数据挖掘DT数据分析 公众号: datadwxgboost的出现,让数据民工们告别了传统的机器学习算法们:RF、GBM、SVM、LASSO........。现在,微软推出了一个新的boosting框架,想要挑战xgboost的江湖地位。笔者尝试了一下...
  • Android写的应用程序其实可以调节屏幕亮度的,查了一下资料发现WindowManager.LayoutParams这个类就包含了调节亮度的参数: WindowManager.LayoutParams lp = ...其中参数screenBrightness就是设置屏幕亮度的0.0f
  • GridSearchCV参方法

    万次阅读 2017-10-26 11:16:22
    在FCV的基础上,gap = (maxedge-minedge)/k,其中的k为进程个数,把块切割成小块,然后小块在按照FCV进行计算,最后得出K个最优,再进行K个最优选择一下就可以了。 MFCV优点 速度更快,进程并发 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 245,531
精华内容 98,212
关键字:

一般f值调多大