精华内容
下载资源
问答
  • 旨在解决如何利用标准残差检测异常值并将其剔除。我们在用统计软件做回归分析时终是希望自己的回归曲线能较好地拟合数据。但现实中我们对数据清洗后,有一部分的值不是那么友好。就是感觉怪怪的,如何用数学的语言去...

    本博文源于《商务统计》。旨在解决如何利用标准残差检测异常值并将其剔除。我们在用统计软件做回归分析时终是希望自己的回归曲线能较好地拟合数据。但现实中我们对数据清洗后,有一部分的值不是那么友好。就是感觉怪怪的,如何用数学的语言去描述去把它们一一剔除呢?

    问题起源

    在这里插入图片描述
    从图中我们都知道有一种指标叫做残差,我们回归分析核心要领就是将残差控制到最小,但是有一些值偏离这条线很大,如何剔除就是我们要解决的问题。

    估计标准误差

    估计标准误差的计算就是残差求均值。我们除以的是它的自由度。公式如下:
    s e = ∑ i = 1 n ( y i − y ^ i ) 2 n − 2 = S S E n − 2 = M S E s_e=\sqrt{\frac{\sum_{i=1}^n(y_i-\hat{y}_i)^2}{n-2}}=\sqrt{\frac{SSE}{n-2}}=\sqrt{MSE} se=n2i=1n(yiy^i)2 =n2SSE =MSE

    1. 实际观察值与回归估计值离差平方和的均方根
    2. 反映实际观察值在回归直线周围的分散情况
      在这里插入图片描述
      通过残差求平均值,我们想当然可以肯定的第一个回归分析拟合的好。

    3 σ \sigma σ准则与估计标准误差的关系

    3 σ \sigma σ指的是落在以 μ \mu μ为中心的 σ \sigma σ半径区间的概率,
    在这里插入图片描述
    类比成回归方程里就可以看出,利用残差去代替正态里的 σ \sigma σ就可以判定谁是异常值。在残差分析中,认为超过 ± 3 σ ^ \pm3\hat{\sigma} ±3σ^的残差为异常值.标准化残差计算公式
    Z R E i = e i σ ^ ZRE_i=\frac{e_i}{\hat{\sigma}} ZREi=σ^ei

    剔除异常值的情形

    在这里插入图片描述
    根据正态情形只需要把3 σ \sigma σ之外的剔除掉就可以了。

    总结

    我们剔除异常值的理论依据就是根据正态分布的3 σ \sigma σ原则,计算标准残差即可。而标准残差的计算就是:残差除以标准误差
    标 准 残 差 = e i s e 标准残差=\frac{e_i}{s_e} =seei
    在落在大于3的区间里就可以剔除掉。

    展开全文
  • 一般有三种检验方法:相对残差检验、关联度检验、后验差检验。当三种检验全部通过时,表明模型的效果较好,才可以使用模型进行后续的预测;否则,将要对模型进行残差修正,直到三种检验均通过为止。 这篇文章就...

          在建立好灰色模型后,首先要进行模型的检验,以检验模型的效果。一般有三种检验方法:相对残差检验、关联度检验、后验差检验。当三种检验全部通过时,表明模型的效果较好,才可以使用模型进行后续的预测;否则,将要对模型进行残差修正,直到三种检验均通过为止。

         这篇文章就着重阐述一下三种检验~

    一、检验准则

         下面就不详细阐述各检验的基本原理了,重点说一下各检验的评判准则。

    1.相对残差检验(根据自己的要求与题意任选一个要求进行衡量即可)

     (1)最严格的要求:\o(i)<0.005      其中\o(i)为相对误差序列,这个不等式表示当相对误差序列中的元素应都小于0.005时,通过相对残差检验。

    (2)较宽泛的要求:     其中表示相对误差序列中元素的均值。

            给定a,当,当不等式成立时,称模型为合理模型。

            一般a取0.01、0.05、0.1,分别对应优秀、合格、勉强通过。

    2.关联度检验

          其中 当,关联度大于0.6时,检验通过。

    3.后验误差

            方差比C、小误差概率:

           根据P与C的取值,有对应好、合格、勉强合格、不合格的模型评价结果。

     二、例题

        题目:利用GM(1,1) 对以下数据进行预测,并对得到的模型进行三种检验。

         利用GM(1,1)进行预测得到对应的结果:

          分别对预测进行上述三种检验:(注:此处的结果与下方代码的输出结果对应)

    1.相对残差检验

             此处输出的为相对残差序列,发现相对残差序列都小于0.5%,因此认为模型的精确度高。

             若每个序列都小于0.5%,就不用考虑相对平均误差了,因为当严格检验通过时,较宽泛的检验一定也通过。(因此此题只看严格检验的结果就足够了,下面的较宽泛检验可删去,但是为了让大家可以将这个检验应用到不同的情况,进行了宽泛检验的讲解)。

            当严格检验不通过时,可以考虑较宽泛的检验,从而对模型进行检验(这里的思想类似于假设检验里a的选取,如果对模型的要求高就对其进行严格检验,若要求不是太高,可降低标准,以使模型通过检验。),得到如下结果:

             可以得到相对平均误差为0.0018,小于0.01.因此通过相对残差检验。

    2.关联度分析

            得到平均关联系数:

           R大于0.6,因此表明预测序列与原始序列的关联度较强,通过关联度检验。

    3.后验差检验 

          得到方差比为1.8879%,小误差概率为100%,根据判断准则发现,C<0.35,同时P>0.95,因此说明模型较好,认为通过后验差检验。 

           综上,三种检验均通过,因此可以使用此模型进行后续的预测与操作。

           以上就是这次分享的内容,后期会陆续更新统计算法、机器学习、R软件等相关内容,感兴趣的小可爱,关注一波~

     

           残差检验、关联度检验、后验差检验matlab代码如下:

    CA=abs(XY-X0) ;    %残差数列,X0为原始序列,XY为预测序列
    Theta=CA    ;   %残差检验 绝对误差序列
    XD_Theta= CA ./ X0  %残差检验 相对误差序列
    AV=mean(XD_Theta)      % 残差数列平均值
    R_k=(min(Theta)+0.5*max(Theta))./(Theta+0.5*max(Theta)) ;% P=0.5
    R=sum(R_k)/length(R_k)  %关联度
    GD=mean(CA); %绝对残差均值
    Temp0=(CA-GD).^2 ;
    Temp1=sum(Temp0)/length(CA);
    S2=sqrt(Temp1) ;    %绝对误差序列的标准差
    %----------
    AV_0=mean(X0);     % 原始序列平均值
    Temp_0=(X0-AV_0).^2 ;
    Temp_1=sum(Temp_0)/length(CA);
    S1=sqrt(Temp_1)   ;     %原始序列的标准差
    TempC=S2/S1*100;      %方差比
    C=strcat(num2str(TempC),'%')   %后验差检验  %方差比
    %----------
    Delta=abs(CA-AV);
    SS=0.675*S1 ;
    elta=abs(CA-AV) ;
    TempN=find(Delta<=SS);
    N1=length(TempN);
    N2=length(CA);
    TempP=N1/N2*100;
    P=strcat(num2str(TempP),'%')   %后验差检验    %计算小误差概率

    展开全文
  • 针对基于卡尔曼滤波器的残差检验法会跟踪软故障的局限性,提出了一种基于状态递推器的改进方法。然后通过对残差量的正态分布标准化措施,将残差向量整体的x2检测问题转化为每个独立分量的偏差检测问题。根据本文方法...
  • 文章目录一、线性回归假设条件(LINE)二、 残差分析1. 线性检验2. 正态性检验3. 独立性检验4. 方差齐性检验5.其他残差图 一、线性回归假设条件(LINE) 线性(Linear) 自变量与因变量之间存在线性关系 正态性...


    一、线性回归假设条件(LINE)

    1. 线性(Linear)
      自变量与因变量之间存在线性关系
    2. 正态性(Normal)
      残差 ϵ \epsilon ϵ 服从正态分布N(0, σ 2 \sigma^2 σ2) 。其方差 σ 2 \sigma^2 σ2 = var ( ϵ i \epsilon_i ϵi ) 反映了回归模型的精度, σ 2 \sigma^2 σ2 越小,用所得到回归模型预测y的精确度愈高
    3. 独立性(Independence)
      任意两个观测残差的协方差为0 ,也就是要求自变量间不存在多重共线性问题
    4. 方差齐性(Equal Variance)
      在给定x的情况下, ϵ \epsilon ϵ 的条件方差为常数 σ 2 \sigma^2 σ2

    二、 残差分析

    1. 线性检验

    相较于图一(残差随机分布),图二的残差明显呈现了某种二次型趋势,说明回归模型没有抓住数据的某些非线性特征
    请添加图片描述

    2. 正态性检验

    通过直方图和QQ-plot进行检验
    在这里插入图片描述

    3. 独立性检验

    如下图,若残差图是曲线的的,则表明违反了独立性假设
    在这里插入图片描述

    4. 方差齐性检验

    由于不满足回归分析中的方差齐性的前提假设,异方差将可能带来以下几个问题:

    • 对使用最小二乘法(OLS)求解参数时 ,参数估计值虽然无偏,但不是最小方差线性无偏估计
    • 参数显著性检验失效
    • 回归方程的应用效果不理想

    造成异方差的原因:

    • 模型缺少了某些解释变量,缺省变量本身的方差被包含在了随机误差的方差中
    • 模型本身选取有误,比如原来是非线性的,结果使用了线性模型
    • 样本量过少、测量误差、异常数据、时序分析或者使用面板数据等

    异方差检验

    • 坐标选择:纵坐标为残差 e i e_{i} ei,横坐标视情况而定,可选择: x , y ^ x,\hat{y} x,y^或者观测时间或序号
    • 判断:散点随机散布、无规律则表明满足基本假设,有明显规律或者呈现一定趋势,则有异方差性
      请添加图片描述

    5.其他残差图

    在这里插入图片描述

    展开全文
  • 本博文源于《商务统计》,旨在讲述如何对线性回归分析中已经拟合好的直线做残差分析。...在做线性回归分析残差检验中,牢记画两个图就行了,一种是残差图,一种是QQ图。目的就是测量是否满足四种线性回归模型的假定。

    本博文源于《商务统计》,旨在讲述如何对线性回归分析中已经拟合好的直线做残差分析。当谈起残差,必须了解残差是y的实际值和预测值之差。

    线性回归模型的残差检验假定条件

    • 线性假定:X与Y之间的关系是线性的
    • 独立性假定:对于一个特定的x,它所对应的残差 ∈ \in 与其它x所对应的残差 ∈ \in 相互独立
    • 正态假定:残差服从期望为0的一个正态分布
    • 同方差假定:对于所有的x,残差 ∈ \in 的方差都是相同的

    残差检验的基本步骤

    线性关系的检验

    横轴自变量,纵轴因变量
    横轴自变量,纵轴残差

    在这里插入图片描述
    从图上可以看见这是非线性关系,说明不满足残差检验的假定条件

    在这里插入图片描述
    从图上可以看见都落于水平线周围,比较均匀,这符合残差检验的假定条件线性假定。

    独立性假定检验

    跟上面一样画个残差图,如果图上显示的非水平,带有曲线的味道,那就非独立。一般统计软件已经帮你做好了,只需要看下非独立的情况长什么样就行了。
    在这里插入图片描述

    正态性假定检验

    这个统计软件也可以,那就是QQ图,matlab可以做
    matlabqq(Quantile-Quantile)图绘制并讲解
    在这里插入图片描述
    服从正态分布的QQ图,就跟图上类似,点在一条直线上。

    同方差假定检验

    也是画散点图,如果不是水平线上,那就是异方差。
    在这里插入图片描述

    总结

    在做线性回归分析残差检验中,牢记画两个图就行了,一种是残差图,一种是QQ图。目的就是测量是否满足四种线性回归模型的假定。

    展开全文
  • 本资源适用于对做二元线性回归、残差分析的人有所帮助。如:做ndvi与温度、降雨的线性回归问题做残差分析。
  • from statsmodels.graphics.tsaplots import plot_acf, plot_pacf from statsmodels.tsa.stattools import adfuller import pandas as pd import numpy as np ...# 对near和far进行协整检验 simple =.
  • matlab开发-残差分布

    2019-08-27 11:48:53
    matlab开发-残差分布。单位平方上二维稳态线性平流问题的残差分布N格式。
  • 统计回归模型 (一)逐步回归 前提:当自变量x1,x2,x3…xn过多时,希望进行简化,找到对因变量贡献相对较大的自变量 ...一般假设残差要满足正态分布,需要进行残差检验,最直观的就是起码残差要有正有负,...
  • 传统检测方法很难及时辨别出DDoS攻击的种类与方式,针对这一问题,基于隐马尔可夫模型研究了一种新的多级残差网络DDoS攻击检测方法。该检测方法可以在DDoS攻击多级残差网络时,应用相关公式提取DDoS攻击中的可观参数...
  • 传统的RT(NLOS)算法虽然降低了一点定位误差概率,但是却需要极高的复杂度,因此不能满足现在严格的应用需求。本文提出了一种改进的RT算法,即低运算复杂度的CO-SRT(SRT)算法,并且给出了详细的分析。...
  • 针对YOLO系列的目标检测方法参数多、计算量大、生成检测模型规模大等导致对运行硬件平台计算资源要求高的问题,提出一种基于反残差结构的轻量级多目标检测网络(IR-YOLO)。首先,利用深度可分离卷积减少模型参数和计算...
  • 线性回归检验1 背景需求2 残差分析3 python实操4 强影响点问题5 共线性问题6 线性回归问题总结 1 背景需求 之前进行了线性回归模型的创立,并进行了预测,但是存在一个问题,为什么模型之后的得分提高了,背后是因为...
  • 残差假设以及检验的R语言实现方法

    千次阅读 2019-03-13 09:35:42
    假设的检验方法 处理不符合假设的数据 线性回归对于残差的假设线性回归的目标是通过减少相应变量的真实值与预测值的差值来获得模型参数,即使得残差平方和最小 ∑n1(Yi−Y^i)2=∑n1(ϵ)2\sum_1^n(Y_i -\hat Y_i )^...
  • 深度学习模型可以自动提取有用特征,泛化能力强,但难以对相似型车辆进行更加精细的分类,为此提出一种基于残差网络的小型车辆目标检测算法。算法将传统卷积神经网络的连接形式改为一种基于局部连接和权值共享的残差...
  • 显著检测频谱残差

    2018-04-03 09:43:26
    《Saliency Detection: A Spectral Residual Approach》是上交高材生侯晓迪在07年的CVPR上发表的一篇论文,这篇文章提出了一个图像视觉显著性的简单计算模型,这个模型和Irri提出的模型是两个截然不同的模型,Irri...
  • ARIMA模型选择与残差

    千次阅读 2019-09-24 14:07:16
    模型残差检验: ARIMA模型的残差是给是平均值为0 且方差为常数的正态分布 QQ图:线性即正态分布 #残差分析 正态分布 QQ图线性 model_results.plot_diagnostics(figsize=(16, 12));
  • 本篇介绍如何检验回归结果是否符合模型假设,以及样本中是否存在异常点。本篇使用的主要工具包是car,包名是Companion to Applied Regression的缩写,该包提供了许多...
  • 提出一种基于残差评价策略的故障检测方法,在仅有系统残差数据的基础上,不依赖于系统解析模型进行故障检测,为基于数据驱动方法进行复杂系统的故障检测提供了新的理论依据.为了提高系统故障检测的准确性,在分析故障...
  • 残差网络

    千次阅读 2019-07-07 14:35:51
    残差网络(Residual Network简称ResNet)是在2015年继Alexnet Googlenet VGG三个经典的CNN网络之后提出的,并在ImageNet比赛classification任务上拔得头筹,ResNet因其简单又实用的优点,现已在检测,分割,识别等...
  • 针对传统配电绝缘杆障碍物覆盖检测方法存在检测精准度低的问题,提出一种新的基于多尺度残差网络的配电绝缘杆障碍物覆盖检测方法。构建闪络模型,计算外施电路电压,以此研究配电绝缘杆的障碍物覆盖表面闪络机理。...
  • 基于残差分析的离群点检测算法,适用具有线性回归关系的二维数据,可以对数据中的离群点进行有效剔除检测
  • 残差神经网络的研究

    2020-07-26 21:31:35
    一、ResNet残差神经网络 1.1 提出 1.2 作用 1.3 应用场景 1.4 残差单元的结构 1.4.1残差网络得名的原因 1.4.2残差网络可以有效缓解退化现象的原因 1.4.3数学原理 二、附录 2.1 残差神经网络可以缓解退化...
  • (让大目标给检测器2来检测检测器1只负责检测小目标) Bbox Bridge Module Bbox(边界框)桥模块将低级检测器和高级检测器的回归连接起来,从而使高级别回归基于低级残差。 Classification-Regression Progressive...
  • 首先构建深度残差块,并将其作为特征提取网络;然后基于生成的样本核心集,采用连续学习方式从海量遥感数据中逐次迭代,精调机场检测模型;经过连续学习得到了鲁棒性强、遗忘度低的检测模型,该模型可以准确快速地从海量...
  • MATLAB 残差分析

    万次阅读 2019-07-03 16:19:51
    残差与置信区间图,r 是残差,rint 是残差置信区间 如图,红色的表示残差离群,即置信区间没有在 0 两边 残差与拟合值图 横坐标是预测值,纵坐标是残差 正常情况下,点应该是随机分布在两条水平线之间,不能有...
  • 提出一种基于线性预测残差倒谱的基音周期检测算法.该算法对语音信号的线性预测残差信号做倒谱变 换,将其作为基音检测特征.并综合残差倒谱峰、短时能量和短时过零率三种特征,构造一个清浊音判决函数,简化 清浊音...
  • 光谱残差SR模型 显著性检测 matlab代码 可直接运行
  • 针对传统烟雾检测方法特征提取不充分,误报率偏高以及稳健性较差的问题,提出一种基于并行深度残差网络的堆场烟雾检测方法。该方法利用目标场景烟雾RGB图像的R、G、B分量以及图像HSI变换的H、S、I分量构建并行深度...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 22,171
精华内容 8,868
关键字:

残差检验