精华内容
下载资源
问答
  • 常用模型评价的指标
    千次阅读
    2021-09-08 07:53:59

    大Y老师:小X,你做的这个时间序列模型用什么指标评价啊?

    小X 直接把这篇甩给老师:老师您看哪个指标顺眼,就选哪个指标~


    最近在实现基于深度学习的时间序列模型时,需要对模型进行评价,总结了一些常用的和不常用的评价指标,还有相关概念的辨析。

    上面是玩笑话,在对模型进行评价时,要根据实际的数据特征和指标特性进行选择。

    和方差

    SSE(the sum of squares due to error),是观测值(observed values)与预测值(predicted values)的误差的平方和,公式为:
    S S E ( y , y ^ ) = ∑ i = 1 n ( y i − y ^ i ) 2 SSE(y,\widehat{y})=\sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2} SSE(y,y )=i=1n(yiy i)2

    均方误差

    MSE(mean squared error),是观测值(observed values)与预测值(predicted values)的误差的平方和的均值,即SSE/n。它是误差的二阶矩,包含估计量的方差(variance)及其偏差(bias),是衡量估计量质量的指标,其公式为:
    M S E ( y , y ^ ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 MSE(y,\widehat{y})=\tfrac{1}{n}\sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2} MSE(y,y )=n1i=1n(yiy i)2

    均方根误差

    RMSE(root mean squared error),也称作RMSD(root mean square deviation),是MSE的算数平方根。由于每个误差(each error)对RMSD的影响与误差的平方(squared error)成正比,因此较大的误差会对RMSE影响过大,RMSE对异常值很敏感。其公式为:
    R M S E ( y , y ^ ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 RMSE(y,\widehat{y})=\sqrt{\tfrac{1}{n}\sum_{i=1}^{n}(y_{i}-\widehat{y}_{i})^{2}} RMSE(y,y )=n1i=1n(yiy i)2

    平均绝对值误差

    MAE(mean absolute error),是时间序列分析中预测误差常用的指标,由于MAE使用的是与被测数据相同的尺度(scale),因此不能用于比较两个不同尺度的序列。MAE又被称为L1范数损失函数(就是可以做为损失函数),是真实数据与预测数据之差的绝对值的均值。

    公式为:
    M A E ( y , y ^ ) = 1 n ∑ i = 1 n ∣ y i − y ^ i ∣ MAE(y,\widehat{y})=\tfrac{1}{n}\sum_{i=1}^{n}\left | y_{i}-\widehat{y}_{i}\right | MAE(y,y )=n1i=1nyiy i

    平均绝对值百分比误差

    MAPE(mean absolute percentage error),也被称为MAPD(mean absolute percentage deviation),是一种衡量预测方法的预测准确性的指标。MAPE在解释相对误差(relative error)方面非常直观,在评价模型时MAPE通常用作回归(regression)问题的损失函数(loss function)。

    从式子中可以看出,在计算MAPE时如果出现一系列特别小的分母,可能会出现一些问题。比如分母为0的奇异点、较小的误差引起结果发生非常大的变化等。

    解决这个问题的替代方案,可以将公式中的实际值,替换为该序列的所有实际值的平均值。这种方案等效于求绝对差的总和除以实际值的总和,也被称为加权绝对百分比误差(WAPE),或者wMAPE(weighted mean absolute percentage error)。

    公式为:
    M A P E ( y , y ^ ) = 100 % n ∑ i = 1 n ∣ y i − y ^ i y i ∣ MAPE(y,\widehat{y})=\tfrac{100\% \displaystyle }{n}\sum_{i=1}^{n}\left | \frac{y_{i}-\widehat{y}_{i}}{y_{i}}\right | MAPE(y,y )=n100%i=1nyiyiy i

    对称平均绝对百分比误差

    SMAPE(symmetric mean absolute percentage error),实际值与预测值差值的绝对值除以实际值与预测值绝对值之和的一半。公式为:
    S M A P E ( y , y ^ ) = 100 % n ∑ i = 1 n ∣ y i − y ^ ∣ ∣ ∣ y i ∣ + ∣ y ^ i ∣ 2 ∣ SMAPE(y,\widehat{y})=\frac{100\%}{n}\sum_{i=1}^{n}\frac{\left | y_{i}-\widehat{y}\right |}{\left | \frac{\left |y_{i} \right | + \left |\widehat{y}_{i}\right |}{2}\right |} SMAPE(y,y )=n100%i=1n2yi+y iyiy

    均方对数误差

    MSLE(mean squared log error),公式为:

    M S L E ( y , y ^ ) = 1 n ∑ i = 1 n ( l o g ( 1 + y i ) − l o g ( 1 + y ^ i ) ) 2 MSLE(y,\widehat{y})=\frac{1}{n}\sum_{i=1}^{n}\left ( log(1+y_{i})-log(1+\widehat{y}_{i})\right )^{2} MSLE(y,y )=n1i=1n(log(1+yi)log(1+y i))2

    绝对中位差

    MAD(median absolute deviation),是数据点到中位数的差值的绝对值再取中位数,MAD通常用于统计数据离差(dispersion)。对于MAD来说,少量的异常值不会影响最终结果。

    公式为:

    M A D ( y , y ^ ) = m e d i a n ( ∣ y 1 − y ^ 1 ∣ , . . . , ∣ y n − y ^ n ∣ ) MAD(y,\widehat{y})= median(\left | y_{1} - \widehat{y}_{1}\right |,...,\left | y_{n} - \widehat{y}_{n}\right |) MAD(y,y )=median(y1y 1,...,yny n)
    论文中常用的指标:

    结构相似性

    SSMI(structural similarity ),用于衡量两幅图像的相似度,公式为:
    S S I M ( x , y ) = ( 2 μ x μ y + C 1 ) ( 2 σ x y + C 2 ) ( μ x 2 + μ y 2 + C 1 ) ( σ x 2 + σ y 2 + C 2 ) SSIM(x,y)= \frac{(2\mu_{x}\mu_{y} + C_{1})(2\sigma_{xy} + C_{2})}{(\mu_{x}^{2}+\mu_{y}^{2}+C_{1})(\sigma _{x}^{2}+\sigma _{y}^{2}+C_{2})} SSIM(x,y)=(μx2+μy2+C1)(σx2+σy2+C2)(2μxμy+C1)(2σxy+C2)
    其中x为预测图像的像素值,y为真实图像的像素值。𝜇𝑥为𝑥的均值,𝜇𝑦为𝑦的均值,𝜎𝑥 2为𝑥的方差,𝜎𝑦 2为𝑦的方 差, 𝜎𝑥𝑦为𝑥和𝑦的协方差,𝐶1 、𝐶2 是像素值的动态范围。SSIM的范围为0~1,值越大说明两幅图像越相似。

    临界成功指数

    CSI(critical success index),公式为:
    C S I = a a + b + c CSI=\frac{a}{a+b+c} CSI=a+b+ca

    命中率

    POD(probability of detection),公式为:
    P O D = a a + c POD=\frac{a}{a+c} POD=a+ca

    虚警率

    FAR(false alarm rate),公式为:
    F A R = b a + b FAR=\frac{b}{a+b} FAR=a+bb
    其中:

    a为命中数,即预测值与实际值均大于判别阈值的数量。

    b为空报数,即预测值大于判别阈值而实际值小于判别阈值。

    c为漏报数,即预测值小于判别阈值而真实值大于判别阈值。


    方差

    Variance,用于衡量随机变量离散程度的度量,是各样本数据与平均值之差的平方和的均值。公式为:
    V a r = 1 n ∑ i = 1 n ( x i − μ ) 2 Var=\frac{1}{n}\sum_{i=1}^{n}\left ( x_{i}-\mu\right )^{2} Var=n1i=1n(xiμ)2
    其中,xi为变量,𝜇为总体均值,n为样本总数。

    标准差

    SD(standard deviation),又称均方差,是方差的平方根,公式为:
    S D = 1 n ∑ i = 1 n ( x i − μ ) 2 SD= \sqrt{\frac{1}{n}\sum_{i=1}^{n}\left ( x_{i}-\mu\right )^{2}} SD=n1i=1n(xiμ)2

    方差、标准差、均方误差、均方根误差辨析:

    1.标准差就是均方差,不是均方误差。

    2.方差与均方误差形式上接近,但概念不同。方差是样本数据与样本平均值差值的平方和的均值。均方误差是预测数据与真实数据差值的平方和的均值。

    3.同样,标准差与均方根误差形式上接近,但概念不同。

    更多相关内容
  • 模型评价指标

    2021-01-21 16:42:31
    在此总结一下基本的模型评价指标和使用方法: 附上几个写的比较清晰的博客: 常见的回归评价 一文读懂分类算法常用评价指标 解sklearn中logloss的计算过程 评价指标的选择是很重要的 回归问题 MSE(均方误差) 真实...
  • 常用的聚类模型评价指标: ARI评价法(兰德系数)、AMI评价法(互信息)、V-measure评分、FMI评价法、轮廓系数 等 常用的分类模型评价指标: 准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1 ...

    常用的聚类模型评价指标:

    ARI评价法(兰德系数)、AMI评价法(互信息)、V-measure评分、FMI评价法、轮廓系数 等

    常用的分类模型评价指标:

    准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1 Value)、ROC和AUC 等
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    常用的回归模型评价指标:

    平均绝对误差、均方误差、中值绝对误差、可解释方差值 等

    展开全文
  • 回归模型常用评价指标 样本误差:衡量模型在一个样本上的预测准确性 样本误差 = 样本预测值 - 样本实际值 最常用评价指标:均误差方(MSE) 指标解释:所有样本的样本误差的平方的均值 指标解读:均误差方越接近...

    回归模型的常用评价指标

    样本误差:衡量模型在一个样本上的预测准确性

    样本误差 = 样本预测值 - 样本实际值

    最常用的评价指标:均误差方(MSE)

    指标解释:所有样本的样本误差的平方的均值

    指标解读:均误差方越接近0,模型越准确

    较为好解释的评价指标:平均绝对误差(MAE)

    指标解释:所有样本的样本误差的绝对值的均值

    指标解读:平均绝对误差的单位与因变量单位一致,越接近0,模型越准确

    平均绝对误差的衍生指标:平均绝对比例误差(MAPE)

    指标解释:所有样本的样本误差的绝对值占实际值的比值

    指标解读:指标越接近0,模型越准确

    模型解释度:R squared R方

    指标解释:应变量的方差能被自变量解释的程度

    指标解读:指标越接近1,则代表自变量对于应变量的解释度越高

    使用sklearn查看回归模型的各项指标

    用到的数据集:https://download.csdn.net/download/d1240673769/20910882

    数据集基本情况查看

    # 使用sklearn查看回归模型的各项指标
    import pandas as pd
    import matplotlib.pyplot as plt
    
    # 样例数据读取
    df = pd.read_excel('realestate_sample_preprocessed.xlsx')
    
    # 根据共线性矩阵,保留与房价相关性最高的日间人口,将夜间人口和20-39岁夜间人口进行比例处理
    def age_percent(row):
        if row['nightpop'] == 0:
            return 0
        else:
            return row['night20-39']/row['nightpop']
    df['per_a20_39'] = df.apply(age_percent,axis=1)
    df = df.drop(columns=['nightpop','night20-39'])
    
    # 数据集基本情况查看
    print(df.shape)
    print(df.dtypes)
    print(df.isnull().sum())
    

    在这里插入图片描述

    划分数据集

    # 划分数据集
    x = df[['complete_year','area', 'daypop', 'sub_kde',
           'bus_kde', 'kind_kde','per_a20_39']]
    
    y = df['average_price']
    print(x.shape)
    print(y.shape)
    

    在这里插入图片描述

    建立回归模型

    # 建立回归模型
    # 使用pipeline整合数据标准化、主成分分析与模型
    import numpy as np
    from sklearn.linear_model import LinearRegression, LassoCV
    from sklearn.model_selection import KFold
    from sklearn.preprocessing import StandardScaler, PowerTransformer
    from sklearn.preprocessing import PolynomialFeatures
    from sklearn.pipeline import Pipeline
    
    # 构建模型工作流
    pipe_lm = Pipeline([
            ('sc',StandardScaler()),
            ('power_trans',PowerTransformer()),
            ('polynom_trans',PolynomialFeatures(degree=3)),
            ('lasso_regr', LassoCV(alphas=(
                    list(np.arange(8, 10) * 10)
                ),
        cv=KFold(n_splits=3, shuffle=True),
        n_jobs=-1))
            ])
    print(pipe_lm)
    

    在这里插入图片描述

    查看模型表现

    # 查看模型表现
    import warnings
    from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
    warnings.filterwarnings('ignore')
    
    pipe_lm.fit(x,y)
    y_predict = pipe_lm.predict(x)
    print(f'mean squared error is: {mean_squared_error(y,y_predict)}')
    print(f'mean absolute error is: {mean_absolute_error(y,y_predict)}')
    print(f'R Squared is: {r2_score(y,y_predict)}')
    
    # 计算mape
    check = df[['average_price']]
    check['y_predict'] = pipe_lm.predict(x)
    check['abs_err'] = abs(check['y_predict']-check['average_price'] )
    check['ape'] = check['abs_err']/check['average_price']
    ape = check['ape'].mean()
    print(f'mean absolute percent error is: {ape}')
    

    在这里插入图片描述

    展开全文
  • 回归模型常用评价指标

    千次阅读 2021-07-04 10:23:02
    在数据分析和数据建模过程中,我们需要对模型的泛化能力进行评价。面对不同的应用选择合适的评价指标,这样才能选出更合适的模型算法和具体参数。...回归模型常用评价指标: 在回归建模中,常用的评

    在数据分析和数据建模过程中,我们需要对模型的泛化能力进行评价。面对不同的应用选择合适的评价指标,这样才能选出更合适的模型算法和具体参数。

    在实际建模任务中需要解决的两种问题:回归问题和分类问题。回归问题是指我们要预测的目标变量是连续的,比如房价预测、温度预测、点击率预测等;而分类问题是指我们要预测的目标变量是非连续的,比如动物的分类、花的种类、是不是坏客户等。分类问题还可以进一步细分为二分类问题和多分类问题,一般分类数超过两个的都属于多分类问题。

    回归模型常用评价指标:

    在回归建模中,常用的评价指标有R2和调整后的R2两种。一般情况下使用R2评价回归模型就够了,但特殊情况下还需要用调整后的R2来对模型进行具体评价。

    R2也叫作判定系数,是回归建模中常用的模型评价指标,是指模型可解释离差平方和与总离差平方和的比值。简单来说,R2是指在总的误差中,模型自变量对因变量(目标变量)可解释的程度(比例)。假设现有一个回归模型,其表达式为y=ax+b,其中x是自变量,y是因变量,a、b分别代表回归模型的系数和截距,如图4-1所示。

    展开全文
  • 模型(二分类模型)输入这100张照片进行分类识别,我们的目标是:要找出这100张照片中的所有电动车。在100张照片中,模型识别给出了50个电动车目标,剩下50个则是摩托车。这与实际的情况有出入(实际是:电动车60...
  • 模型评价:回归模型的常用评价指标 1) 样本误差:衡量模型在一个样本上的预测准确性     样本误差 = 样本预测值 – 样本实际值 2) 最常用评价指标:均误差方(MSE)     指标解释:所有样本的样本误差的平方...
  • 机器学习回归模型评价指标

    千次阅读 2022-04-01 15:51:48
    回归模型的性能的评价指标主要有:RMSE(平方根误差)、MAE(平均绝对误差)、MSE(平均平方误差)、R2_score。 先看看计算公式: 1、MSE(平均平方误差、均方误差) 均方误差是线性回归中最常见的损失函数,MSE...
  • 在这篇文档里,我们会介绍一些常用的机器学习模型评价指标。这些指标会根据模型的目标而分成以下两类: 回归模型的指标 分类模型的指标 一般来说,这两大类指标是没有重合的,我们要根据不同的模型来选择对应的一...
  • 1. 写在前面 ...说到排序结果, 必然需要有指标用于评价排序结果的好坏,所以这篇文章的话主要是整理排序里面用到的常用评价指标,比如我们常听到的MRR(Mean Reciprocal Rank), MAP(Mean Average Pre
  • 其中针对正负样本极度不平衡的分类问题,例如广告分类预测问题,最常用模型评价指标就是AUC。 混淆矩阵是分类问题中常用的模型评价方法之一。以广告二分类问题为例,假设模型预测为正例则记为1(Positive),如...
  • 二分类模型评价指标

    2022-05-26 17:56:04
    二分类模型常见评价指标
  • 分类模型的性能评价指标,主要包含准确率,精确率、召回率、f1_score,ROC曲线,AUC等 1、分类评价指标 先列出混淆矩阵 其中: TP:真实值是positive,模型分为positive FN:真实值是positive,模型分为negative FP...
  • Accuracy(精度、准确率)和Error Rate(错误率)是分类模型中最常见的两种性能度量指标,既适用于二分类任务,也适用于多分类任务。 对于分类模型f和大小为n的测试集D,Accuracy(精度)的定义为: Accuracy = 分对的...
  • B曲线(无交叉),则模型A优于模型B; 对于曲线有交叉的模型,P-R曲线下 面积 大者性能更好; 面积计算复杂,可通过判断平衡点来替代; 平衡点 (P=R处)处值大者性能更好; F 1 \bf F_1 F 1 ​...
  • 常用分类模型评价指标

    千次阅读 2019-12-15 19:07:32
    评价分类模型指标 准确率 acc = 分类正确的样本数/总样本数 例如:当样本总数是100,正确分类的样本个数是60,那么 acc = 60/100=0.6 。 缺点:当正负样本不均衡的时候,用准确率不能很好的评估模型的好坏。...
  • 常用的一些算法模型评价指标

    千次阅读 2017-04-11 17:57:36
    1. 基本概念 ...TP —— True Positive (真正, TP)被模型预测为正的正样本;...TN —— True Negative(真负 , TN)被模型预测为负的负样本 ;可以称作判断为假的正确率  FP ——False Positive
  • LDA主题模型评价指标汇总

    千次阅读 多人点赞 2021-02-04 11:49:42
    主题模型评价指标-主题距离引入与效果展示注意事项个人经验 引入与效果展示 在训练好LDA模型后,一个很自然的举动就是尝试去衡量模型的好坏。 比如去看看自己聚出来的模型直接有哪些不同。 本文介绍的模型评价可视化...
  • 一般做机器学习任务,以预测某一个类别为原则来评价原则。常用的术语。以病人为例, 分为 癌症患者, 非癌症患者, 确诊的癌症患者, 误诊的癌症患者 positive :正样本 – 癌症患者 negtive : 负样本 – 非癌症...
  • 【预测模型--常用度量指标

    千次阅读 2022-05-02 16:14:31
    一、MAE(Mean Absolute Error) ...MAE值越小,说明模型质量越好,预测越准确。 二、MSE(Mean Squared Error) 一般情况下,MSE比较少单独使用,因为不好理解,多数用在方差分析和参数估计等中。 显然,M...
  • 世上最全的模型评价指标解析

    千次阅读 2020-01-04 09:45:31
    分类模型评价指标 评价指标: 准确率 (Accuracy),混淆矩阵 (Confusion Matrix),精确率(Precision)即查准率,召回率(Recall)即查全率,灵敏度(sensitivity),特异度(specificity),TPR,, FPR,PR...
  • 机器学习算法评价指标:精确率、召回率、准确率、错误率、F1值、PR曲线、ROC曲线、AUC值
  • 分类模型评价指标及实现(Python)

    千次阅读 2022-03-08 19:19:07
    常用评价指标(分类模型):准确率(Accuracy)、精确率(Precision)、召回率(Recall)、P-R曲线(Precision-Recall Curve)、F1 Score、混淆矩阵(Confuse Matrix)、ROC、AUC。 为什么要有这么多度量指标呢?
  • 机器学习:模型评价指标总结

    千次阅读 2022-02-28 09:29:45
    混淆矩阵是一种特定的矩阵用来呈现算法性能的可视化效果,通常用于二分类模型。其每一列代表预测值,每一行代表的是实际的类别。 其实就是把所有类别的预测结果与真实结果按类别放置到了同一个表里,在这个表格中...
  • 介绍模型四个评价指标之前,先介绍一下混淆矩阵: 混淆矩阵 (Confusion Matrix) 真实值 正样本(Position) 负样本(Negative) 预测值 正样本(Position) TP(True Position) FP(False Position) ...
  • 为了更好地评价无监督聚类算法的聚类质量,解决因簇中心重叠而导致的聚类评价结果失效等问题,对常用聚类评价指标进行了分析,提出一个新的内部评价指标,将簇间邻近边界点的最小距离平方和与簇内样本个数的乘积作为...
  • 众所周知,机器学习分类模型常用评价指标有Accuracy, Precision, Recall和F1-score,而回归模型常用指标有MAE和RMSE。但是我们真正了解这些评价指标的意义吗?在具体场景(如不均衡多分类)中到底应该以哪种指标为...
  • 对于回归而言,更注重的是模型拟合的曲线,相对于真实曲线的误差。主要包括:拟合优度/R-Squared,校正决定系数(Adjusted R-square),均方误差(MSE),均方根误差(RMSE),...MSE可以评价模型的预测精度,MSE的值越

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 26,908
精华内容 10,763
热门标签
关键字:

常用模型评价的指标