精华内容
下载资源
问答
  • 充分统计量

    千次阅读 2018-08-20 23:18:53
    充分统计量直观来理解就是,对于未知参数的估计问题,若知道了充分统计量,那么就不再需要其它的单个或多个观测样本,就能完成对未知参数的估计,即充分统计量已经包含了估计未知参数所需要的信息,换句话说,充分...

    概念理解:

    充分统计量直观来理解就是,对于未知参数的估计问题,若知道了充分统计量,那么就不再需要其它的单个或多个观测样本,就能完成对未知参数的估计,即充分统计量已经包含了估计未知参数所需要的信息,换句话说,充分统计量从大量的观测样本中“抽取”或“浓缩”了估计未知参数需要的所有必要信息。

    我们注意到,教科书里证明充分统计量的思路通常都是把待证明的统计量带入到概率密度函数表达式中,使之变为条件概率密度函数,然后再推导条件概率密度函数与待估计参数无关,从而证明此估计量为充分估计量。

    这是为什么呢?强调一个概念:什么是概率密度函数(PDF)?从参数估计的角度来看,PDF描述了待估计参数与观测样本之间的概率关系,换句话说就是,PDF描述了待估计参数如何影响当前观测样本的发生概率(反过来想,为什么能从观测样本来估计参数就比较容易理解了)。若带入统计量后的条件PDF与待估计参数无关,那么就说明了若已知了该估计量,其它的观测样本与待估计参数已无概率关系了,也就说明这些观测样本对估计该未知参数无任何作用(不包含更多信息)。这与充分统计量的直观理解概念是一致的。

    展开全文
  • 回归分析-常用统计量含义解析

    千次阅读 2020-02-04 15:31:56
    可使用以下常用统计量进行衡量。各统计量分解如下: SST总平方 SSR回归平方 SSE残差平方 回归平方是回归值与均值的离差平方,可以看做由于自变量的变化引起的的变化(即受的影...

    线性回归模型预测好坏,评判标准主要观察回归直线与各观测点的接近程度(即直线的拟合优度)。但是如何量化它们之间的接近程度呢?可使用以下常用统计量进行衡量。各统计量分解如下:

    • SST总平方和                 \large SST=\sum \left (y_{i} -\bar{y}\right )^{2}
    • SSR回归平方和             \large SSR=\sum \left (\widehat{y}_{i} -\bar{y}\right )^{2}
    • SSE残差平方和             \large SSE=\sum \left (y_{i} -\widehat{y}_{i}\right )^{2}

    回归平方和是回归值与均值的离差平方和,可以看做由于自变量\large x的变化引起的\large y的变化(即\large y\large x的影响);

    残差平方和(或称误差平方和)是真实值与回归值的离差平方和,它是除了\large x\large y的线性影响之外的其他因素引起的\large y的变化部分,是不能由回归直线来解释的\large y_{i}的变差部分(即\large y受其他因素的影响,如\large x\large y的非线性影响、测量误差等)。残差平方和描述了真实值与预测值之间的差异程度

    三个平方和的关系为:

    总平方和(SST)= 回归平方和(SSR)+ 残差平方和(SSE)

     

    • 判定系数   \large R^{2}=\frac{SSR}{SST}=\frac{\sum \left (\widehat{y}_{i} -\bar{y}\right )^{2}}{\sum \left (y_{i} -\bar{y}\right )^{2}} = 1-\frac{\sum \left (y_{i} -\widehat{y}_{i}\right )^{2}}{\sum \left (y_{i} -\bar{y}\right )^{2}}

    判定系数\large R^{2}是对估计的回归方程拟合优度的度量。(即测度了回归直线对观测数据的拟合程度)

    1. 若所有观测点都落在回归直线上,残差平方和SSE=0,则\large R^{2}=1,拟合是完全的;
    2. 如果\large y的变化与\large x无关,\large x完全无助于解释\large y的变差,\large \widehat{y}=\bar{y},则\large R^{2}=0;
    3. \large R^{2}的取值范围是[0, 1];
    4. \large R^{2}越接近1,表明回归平方和占总平方和的比例越大,回归直线与各观测点越接近,用\large x的变化来解释\large y值变差的部分就越多,回归直线的拟合程度就越好;反之,\large R^{2}越接近0,回归直线的拟合程度就越差。

    例子解释其含义:

    下图为不良贷款Y对贷款余额X构建的一元线性回归模型的回归分析结果,数据源可查看https://blog.csdn.net/qq_39284106/article/details/104156844

    Q:计算不良贷款\large y对贷款余额\large x回归的判定系数,并解释其意义?

    A1:\large R^{2} = \frac{SSR}{SST} = \frac{222.4860}{312.6504}=0.7116

    A2:判定系数的实际意义是:在不良贷款取值的变差中,有71.16%可以由不良贷款与贷款余额之间的线性关系来解释,或者说,在不良贷款取值的变动中,有71.16%是由贷款余额所决定的。不良贷款取值的差异有2/3以上是由贷款余额决定的,可见二者之间有较强的线性关系。

     

    • 调整的判定系数Adjusted_R_square   \large R_{a}^{2} = 1-(1-R^{2})(\frac{n-1}{n-k-1})

    调整的判定系数是用样本量\large n和自变量的个数\large k去调整\large R^{2}的,其实际意义是在用样本量和模型中自变量个数进行调整后,能被因变量和自变量的一元或是多元回归方程所解释的比例为\large R_{a}^{2}

    有了判定系数,为什么还需要调整的判定系数呢?

    :是因为自变量个数的增加将影响到因变量的变差中被估计的回归方程所解释的比例。当增加自变量时,会使预测误差变得较小,从而减少残差平方和SSE。由于回归平方和 SSR=SST - SSE,当SSE变小时,SSR就会变大,从而使\large R^{2}变大。如果模型中增加一个自变量,即使这个自变量在统计上并不显著,\large R^{2}也会变大。因此避免增加自变量而高估\large R^{2},需要同时考虑样本量和模型中自变量的个数的影响,这就使得\large R_{a}^{2}的值永远小于\large R^{2},而且\large R_{a}^{2}的值不会由于模型中的自变量个数增加而越来越接近1。因此在多元回归分析中,通常用调整的判定系数。

    Q:计算不良贷款\large y对贷款余额\large x回归的调整的判定系数,并解释其意义?

    A1:\large R_{a}^{2} = 1-(1-0.7116)(\frac{25-1}{25-1-1})=0.6991

    A2:它表示:在用样本量和模型中自变量个数进行调整后,在不良贷款取值的变差中,能被不良贷款和贷款余额的回归方程所解释的比例为69.91%。

     

    • 复相关系数Multiple_R      \large MultipleR = \sqrt{R^{2}}

    复相关系数度量了因变量同\large k个自变量的相关程度。

     

    • 估计标准误差    \large s_{e}=\sqrt{\frac{\sum \left (y_{i} -\widehat{y}_{i}\right )^{2}}{n-k-1}} = \sqrt{\frac{SSE}{n-k-1}}=\sqrt{MSE}

    估计标准误差就是度量各个实际观测点在直线周围的散布状况的一个统计量。

    估计标准误差是对误差项\large \varepsilon的标准差\large \sigma的估计,它可以看做在排除了\large x\large y的线性影响后,\large y随机波动大小的一个估计量。

    1. 从估计标准误差的实际意义看,它反映了用估计的回归方程预测因变量\large y预测误差的大小
    2. 各观测点越靠近直线,\large s_{e}越小,回归直线对各观测点的代表性就越好,根据估计的回归方程进行预测也就越准确。
    3. 若各观测点全部落在直线上,则\large s_{e}=0,此时用自变量来预测因变量是没有误差的。
    4. 因此,\large s_{e}从另一角度说明了回归直线的拟合优度。

    Q:计算不良贷款\large y对贷款余额\large x回归的估计标准误差,并解释其意义?

    A1:\large s_{e} = \sqrt{\frac{SSE}{n-2}}=\sqrt{\frac{90.1644}{25-2}}=1.9799(亿元)

    A2:标准误差为1.9799,这就是说,根据贷款余额来估计不良贷款时,平均的估计误差为1.9799亿元。

     


    得到估计回归方程后,是不是就能直接用来做预测了呢?还不能哦,因为该估计方程是根据样本数据得出的,它是否真实地反映了变量\large x\large y之间的关系,需要通过检验来证实。那目前常用的检验方法有哪些?

    回归分析中的显著性检验主要包括两个方面:线性关系的检验回归系数的检验

    线性关系的检验是检验因变量\large y\large k个自变量之间的关系是否显著,也称为总体显著性检验。

    为检验自变量和因变量之间的线性关系是否显著,需要构造用于检验的统计量F。

    • MSR均方回归               \large MSR=\frac{SSR}{k}
    • MSE均方残差               \large MSE=\frac{SSE}{n-k-1}
    • F检验统计量     \large F = \frac{SSR/k}{SSE/\left ( n-k-1 \right )} = \frac{MSR}{MSE} \sim F\left ( k, n-k-1 \right )

    如果原假设成立,则比值MSR/MSE的抽样分布服从分子自由度为\large k、分母自由度为\large n-k-1的F分布。

    • 原假设:beta=0 (变量之间的线性关系不显著)
    • 备择假设:beta!=0  至少有一个不等于0(变量之间的线性关系显著)
    1. 当原假设成立时,MSR/MSE的值应接近1;
    2. 当原假设不成立时,MSR/MSE的值将变得无穷大;

    线性关系检验主要是检验因变量与多个自变量的线性关系是否显著, 在\large k个自变量中,只要有一个自变量与因变量的线性关系显著,F检验就能通过,但这不一定意味着每个自变量与因变量的关系都显著。

    Q:检验不良贷款\large y和贷款余额\large x之间线性关系的显著性(\large \alpha =0.05)?

    A1:提出假设 \large H_{0}: \beta _{1} =0 (两个变量之间的线性关系不显著)

    A2:\large F = \frac{MSR}{MSE} = \frac{222.486}{3.921}=56.7538

    A3:查F分布表,得临界值\large F_{\alpha } = 4.28。由于\large F > F_{\alpha }, 拒绝原假设 \large H_{0},表明不良贷款和贷款余额之间的线性关系是显著的。

    A4:用于F检验的P值\large pf(Significance F) < \alpha =0.05,拒绝原假设 \large H_{0},表明因变量和自变量之间有显著的线性关系。【备注:pf(Significance F)取值可看上图回归分析结果的pf取值。】

     

    回归系数的检验是检验自变量对因变量的影响是否显著。

    • 各回归系数的t检验统计量    \large t_{k} = \frac{\widehat{\beta }_{k}}{Se(\widehat{\beta _{k}})} \sim t(n-k-1)

    回归系数检验是对每个回归系数分别进行单独检验,它主要用于检验每个自变量对因变量的影响是否显著。如果某个自变量没有通过检验,就意味着这个自变量对因变量的影响不显著,也许就没有必要将这个自变量放进回归模型中。

    Q:检验回归系数的显著性(\large \alpha =0.05)?

    A1:提出假设 \large H_{0}: \beta _{1} =0 (无显著关系); \large H_{1}:\beta _{1}\neq 0(有显著关系);

    A2:\large t= \frac{\widehat{\beta _{1}}}{s\widehat{\beta _{1}}} = \frac{0.0379}{0.005}=7.534

    A3:查t分布表,得临界值\large t_{\alpha/2 } = 2.0687。由于\large |t| > t_{\alpha /2}, 拒绝原假设 \large H_{0},这意味着贷款余额是影响不良贷款的一个显著因素。

    A4:用于t检验的P值P-value\large =0.000 < \alpha =0.05,拒绝原假设 \large H_{0},表明因变量和自变量之间有显著的线性关系。【备注:P-value取值可看上图回归分析结果的变量C对应P-value的取值。】

    注意:F检验只是用来检验总体回归关系的显著性,而t检验则是检验各个回归系数的显著性。


    AIC准则即Akaike information criterion,又叫赤池准则,为日本统计学家赤池弘次创立,它建立在熵的概念基础上,可以权衡所估计模型的复杂度和此模型拟合数据的优良性。

    AIC计算公式为: AIC=2k-2logLik,其中:k是参数的数量,logLik是对数似然比。

    BIC准则即Bayesian Information Criterions,于1978年由Schwarz提出。BIC的惩罚项比AIC大,考虑了样本数量,样本数量过多时,可有效防止模型精度过高造成的模型复杂度过高。

    BIC计算公式为: BIC=-2logLik +kln(n)。

    AIC或BIC的取值是越小越好。

     

    展开全文
  • 在概率论统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一。它反映随机变量平均取值的大小。 离散型: 连续型 即:概率加权下的...

    一、期望

    1、定义

           在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一。它反映随机变量平均取值的大小。

    • 离散型:

                                   E(X)=\sum_{i}x_{i}p_{i}

    • 连续型

                                   E(X)=\int_{-\infty }^{\infty}xf(x)dx

    即:概率加权下的“平均值”。

    2、无条件成立

                                  E(kX)=kE(X)

                                  E(X+Y)=E(X)+E(Y)

    3、X和Y相互独立

                                             E(XY)=E(X)E(Y)

    • 反正不成立。事实上,若E(XY)=E(X)E(Y),只能说明X和Y不相关。(不相关的定义来自下面协方差部分?)

    关于相关和独立(摘自一只快乐小胖):

    相关性是指两个随机变量之间的线性关系,不相关只是说明它们之间不具有线性关系,但是可以有别的关系,所以不一定相互独立。
    如果两个随机变量独立,就是说它们之间没有任何关系,自然也不会有线性关系,所以它们不相关。反过来说如果两个随机变量相关,也就是说它们之间有线性关系,自然不独立。

    • 独立:P(AB)=P(A)P(B)
    • 互斥:P(AB)=0,    P(A+B)=P(A)+P(B)

    二、方差

    1、定义

            方差是衡量源数据和期望值相差的度量值。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。

                                   Var(X)=E\left \{ [X-E(X)]^{2} \right \}=E(X^{2})-E^{2}(X)

    2、无条件成立

                                  Var(c)=0

                                  Var(X+c)=Var(X)

                                  Var(kX)=k^{2}Var(X)

    3、X和Y独立

                                  Var(X+Y)=Var(X)+Var(Y)

    方差的平方根称为标准差。

    三、协方差

    1、定义

           在有限的二阶矩的情况下,两个共同分布的实值随机变量X和Y之间的协方差被定义为它们偏离各自期望值的期望乘积。但协方差的计算有多种形式,和定义的一般格式有所区别。

                                            Cov(X,Y)=E\left \{ [X-E(X)][Y-E(Y)] \right \}

                                                              =E[XY-XE(Y)-E(X)Y+E(X)(Y)]

                                                              =E(XY)-E(X)E(Y)-E(X)E(Y)+E(X)E(Y)

                                                              =E(XY)-E(X)E(Y)

    2、性质

                               Cov(X,Y)=Cov(Y,X)

                               Cov(aX+b,cY+d)=acCov(X,Y)

                               Cov(X_{1}+X_{2},Y)=Cov(X_{1},Y)+Cov(X_{2},Y)

    3、协方差和独立、不相关

                 X和Y独立时,                      E(XY)=E(X)E(Y)

                 而                             Cov(X,Y)=E(XY)-E(X)E(Y)

                 从而,当X和Y独立时,              Cov(X,Y)=0

                 但X和Y独立这个前提太强,我们定义若Cov(X,Y)=0,则称X和Y不相关

    4、协方差的意义

    (1)协方差是两个随机变量具有相同方向变化趋势的度量:

    • Cov(X,Y)>0,它们的变化趋势相同;
    • Cov(X,Y)<0,它们的变化趋势相反;
    • Cov(X,Y)=0,称X和Y不相关。

    对应到机器学习,可利用协方差来筛选特征(降维)。

    (2)协方差有没有上界?

                若 Var(X)=\sigma _{1}^{2},Var(Y)=\sigma _{2}^{2}

                则  \left | Cov(X,Y) \right |\leqslant \sigma _{1}\sigma _{2}

                当且仅当X和Y之间有线性关系时,等号成立。

    5、协方差矩阵

    对于n个随机向量(X_{1},X_{2}\cdots X_{n})任意两个元素X_{i}X_{j}都可以得到一个协方差,从而形成n*n的矩阵,协方差矩阵是一个对称阵

                                               c_{ij}=E\left \{ [X_{i}-E(X_{i})][X_{j}-E(X_{j})] \right \}=Cov(X_{i},Y_{j})

    将随机向量X_{i}写成列向量,则X=(X_{1},X_{2}\cdots X_{n})为n列矩阵,将X的列分别去均值后,得到矩阵\widetilde{X},则协方差矩阵为:

                                               C=\frac{1}{n}(\widetilde{X}^{T}\cdot \widetilde{X})

    所以,可基于协方差矩阵筛选特征。

    四、Pearson相关系数

    1、定义

    也就是把上面的\sigma _{1}\sigma _{2}除过去。

                                                     \rho _{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}

    2、性质

    • 由协方差上界定理可知:\left | \rho \right |\leqslant 1
    • 当且仅当X和Y之间有线性关系时,等号成立。
    • 容易看到,相关系数是标准尺度下的协方差。上面关于协方差与XY相互关系的结论,完全适用于相关系数和XY的相互关系。

    3、相关系数矩阵

           类似于协方差矩阵,相关系数矩阵中每个元素的范围在[-1,1]之间,更方便进行比较。相关系数矩阵可以发现特征之间的相关性。如果两个特征之间比较接近或相反(数值在-1或1之间),说明这两个特征比较相似,所以可以剔除其中一个特征。

    五、矩

    对于随机变量X,X的k阶圆点矩为E(X^{k})

    X的k阶中心距为E\left \{ [X-E(X)]^{k} \right \}

    六、统计参数总结

    期望(一阶原点矩)

    方差(标准差,二阶中心矩)

    变异系数(Coefficient of Variation):标准差与均值的比值,记为C·V

    偏度(Skewness) 三阶

    峰度(Kurtosis)四阶

    展开全文
  • 参数统计概述

    千次阅读 多人点赞 2019-11-16 22:48:05
    文章目录非参数统计概述引言非参数方法举例Wilcoxon 符号秩检验Wilcoxon秩检验 引言 非参数统计(nonparametric statistics)是相对于参数统计而言的一个统计学分支,是数理统计的重要内容。在参数统计中,我们往往...

    非参数统计概述

    引言

    非参数统计(nonparametric statistics)是相对于参数统计而言的一个统计学分支,是数理统计的重要内容。在参数统计中,我们往往碰到的是这样的情况:

    • 总体分布的数学形式已知(例如正态分布、指数分布等)。
    • 总体分布的概率密度函数中含有有限个参数。

    然而实际情况往往不是这样,我们通常不知道总体分布的数学形式,或者虽然已知总体的分布但却不能用有限个参数去刻画,我们只能对总体做出一些简单的假定(例如总体分布是连续的或者离散的,总体分布是否对称),这时如果我们要对总体的某些性质进行估计或者假设检验,就需要使用非参数方法

    非参数方法是一种不依赖于总体分布具体形式的统计推断方法,构造统计量通常与总体分布无关,也就是说,非参数方法与总体分布无关,因此,非参数方法也被称为自由分布(distribution-free)方法。非参数方法具有如下的特点:

    • 适用面广但针对性较差
    • 对变量的量化要求很低。无论是分类变量和数值变量,都可以使用非参数方法进行估计或检验。
    • 非参数方法对于数据的要求不如参数方法严格
    • 非参数方法具有较好的鲁棒性,不容易受数据中极端值和离群点的影响。
    • 对于符合参数方法条件的数据,使用非参数方法会使犯第二类错误的概率增大,即统计功效会更小。

    由以上的特点,我们可以总结出选用参数方法和非参数方法的原则:

    • 如果中位数(而不是均值)更能反应数据的集中趋势时(极端值较多),应当选用非参数方法。
    • 如果数据为定序变量(如优良中)时,应当采用非参数方法。
    • 如果数据符合参数方法的条件时,应当优先选用参数方法

    接下来我们来详细讨论一些非参数方法的例子。

    非参数方法举例

    Wilcoxon 符号秩检验

    Wilcoxon符号秩检验(signed-rank test)对应着参数方法中的单样本t检验法和配对样本t检验法。接下来我们通过一个例子来讲解Wilcoxon符号秩检验的步骤。

    假设我们研究的课题是上培训班是否会提升学生成绩,我们收集到的数据如下:

    BeforeAfter
    7260
    6286
    7083
    6053
    7575
    5565
    7189
    4856

    根据这一张表格,我们可以进一步得到这样的另一张表格。

    DiffSigned-rank
    -12-4
    247
    135
    -7-1
    0
    103
    186
    82

    其中,Diff是拿右边一列减去左边一列得到的数据,而得到Signed-rank略显复杂,首先我们将Diff的绝对值从小到大进行排名(rank),分别编上1-n的编号,然后根据Diff的实际符号,给排名也添加上相同的符号,我们就得到了样本的符号秩(signed-rank),我们就由符号秩来构造统计量。

    需要注意的是,我们进行Wilcoxon符号秩检验时,不考虑Diff=0的情况,我们要将Diff=0的数据去除。

    接下来我们用符号秩来构造统计量 Z Z Z Z = ∑ i = 1 n S R i ∑ i = 1 n S R i 2 Z = \frac{\sum^n_{i=1}SR_i}{\sqrt{\sum^n_{i=1}SR_i^2}} Z=i=1nSRi2 i=1nSRi
    与参数方法中的 Z Z Z统计量一样, Z Z Z~ N ( 0 , 1 ) N(0,1) N(0,1),于是我们算得 Z Z Z统计量之后,就可以通过标准正态分布来计算p值,在上面这个例子中: Z = 1.52 Z=1.52 Z=1.52
    我们进行一个双尾检验,查表可得 p − v a l u e = 2 ∗ ( 1 − 0.9357 ) = 0.1286 > 0.05 p-value=2*(1-0.9357)=0.1286>0.05 pvalue=2(10.9357)=0.1286>0.05
    得出结论:应当接受零假设,成绩与是否上辅导班无关。

    Wilcoxon秩和检验

    Wilcoxon秩和检验(rank-sum test)用于检验两个总体的中位数是否相等,适用于中位数能更好的反应总体集中趋势的情况,对应了参数方法中的Two sample t-test,同样我们通过一个例子来讲解Wilcoxon秩和检验的过程。

    我们仍然使用上面的表格,只不过我们这次研究的题目是成绩是否与性别有关。(实际上,两列数据的样本容量可以不同)可以发现,这样一来,数据中的行不再是一一对应关系。

    MaleFemale
    7260
    6286
    7083
    6053
    7575
    5565
    7189
    4856

    我们将两列数据合在一起,进行从小到大的排序,求出它们的秩(秩的英文为rank,也可以翻译为排名)。

    Rank(Male)Rank(Female)
    115.5
    714
    913
    5.52
    12.512.5
    38
    1015
    14

    需要注意的是,当出现多个样本值相同时,它们的秩应当等于它们占用的秩的位置的平均值。接下来我们来构造统计量,首先我们将每一列元素的秩进行求和:
    S u m 1 = ∑ i n 1 R 1 Sum1 = \sum_i^{n_1}{R_1} Sum1=in1R1 S u m 2 = ∑ i n 2 R 2 Sum2 = \sum_i^{n_2}{R_2} Sum2=in2R2
    设两个变量的样本容量分别是 n 1 n_1 n1, n 2 n_2 n2,我们构造下面的统计量:
    W = S u m 1 − n 1 ∗ ( n 1 + 1 ) 2 W=Sum1 - \frac{n_1*(n_1+1)}{2} W=Sum12n1(n1+1)
    同样的,利用 S u m 2 Sum2 Sum2也可以构造一个这样的统计量,但实际上检验一个即可。我们同样避开直接寻找 W W W的分布,我们选择再构造一个统计量:
    Z = W − n 1 n 2 / 2 n 1 n 2 ( n 1 + n 2 + 1 ) / 12 Z=\frac{W-n_1n_2/2}{\sqrt{n_1n_2(n_1+n_2+1)/12}} Z=n1n2(n1+n2+1)/12 Wn1n2/2
    同样的, Z Z Z~ N ( 0 , 1 ) N(0,1) N(0,1),接下来我们就可以在标准正态分布中查找到 P − v a l u e P-value Pvalue,从而做出是否拒绝零假设的判断。

    在上面这个例子中,我们计算得到:
    W = 23 W=23 W=23 Z = − 0.945 Z=-0.945 Z=0.945
    查表得到对应的p值为:
    p − v a l u e = 2 ∗ ( 1 − 0.8289 ) = 0.3422 > 0.05 p-value=2*(1-0.8289)=0.3422>0.05 pvalue=2(10.8289)=0.3422>0.05所以我们应当接受零假设,成绩与性别无关。

    斯皮尔曼相关性检验

    在参数统计中,我们学习过一个相关系数 ρ x y \rho_{xy} ρxy,它的定义如下: ρ x y = C o v ( X , Y ) S X S Y \rho_{xy}=\frac{Cov(X,Y)}{S_XS_Y} ρxy=SXSYCov(X,Y)实际上,我们把这个相关系数称为皮尔逊相关系数(Pearson Correlation),而接下来我要介绍的是另一个相关系数,称为斯皮尔曼相关系数(Spearman Correlation)。

    首先举一个例子,假设我们研究的课题是学生考试分数与课堂满意度是否相关,我们采集到了这样一组数据:

    ScoreHappiness
    30不满意
    40一般
    50不满意
    60一般
    70满意
    80满意
    90满意
    100满意

    可以看到,这里的Happiness数据是定序变量,我们没有办法计算它的方差和它与定距变量的协方差,但我们可以对它们进行排序,参考前两种方法,我们这两列数据分别排序并求出它们的秩。

    Rank(Score)Rank(Happiness)
    11.5
    23.5
    31.5
    43.5
    56.5
    66.5
    76.5
    86.5

    同样的,对于相同的样本值,我们也要采用取平均值的方法求它们的秩。接下来我们对这两列秩求它们的皮尔逊相关系数,得到的就是原数据的斯皮尔曼相关系数:
    ρ = C o v ( R 1 , R 2 ) S R 1 S R 2 \rho=\frac{Cov(R_1,R_2)}{S_{R_1}S_{R_2}} ρ=SR1SR2Cov(R1,R2)另外还有一个简便计算公式,设样本容量为 n n n
    ρ = 1 − 6 ∑ d i 2 n ( n 2 − 1 ) \rho=1-\frac{6\sum{d_i^2}}{n(n^2-1)} ρ=1n(n21)6di2然后,与参数方法中的皮尔逊相关性检验类似,有:
    ρ 1 − ρ 2 / n − 2 ∼ t ( n − 2 ) \frac{\rho}{\sqrt{1-\rho^2}/\sqrt{n-2}}\sim t(n-2) 1ρ2 /n2 ρt(n2)
    然后在 t t t分布中计算 p − v a l u e p-value pvalue,做出判断。

    Bootstrap

    Bootstrap简单的来说,我们已有一个容量为 n n n的原始样本,利用随机数等方式进行放回抽样得到一个容量同样为 n n n的样本,这种样本就称为Bootstrap样本或自助样本。

    我们反复地、独立地从原始样本中抽取很多很多个Bootstrap样本(通常不少于1000个),利用这些样本对总体进行统计推断,这种方法被称为非参数Bootstrap方法,又称为自助法。

    我们使用成绩与性别关系的数据:

    MaleFemale
    7260
    6286
    7083
    6053
    7575
    5565
    7189
    4856

    我们对两列数据进行有放回抽样,得到了1000个Bootstrap样本,记作 D 1 D_1 D1- D 1000 D_{1000} D1000。我们需要分析的是两个样本之间的中位数是否有差异,因此我们将每一个Bootstrap样本的中位数差值求出来,用这1000个数据的中位数差构成一个统计分布,用直方图表示:
    在这里插入图片描述
    然后我们再根据已知的中位数差值,在这个统计分布中计算p值、置信区间等,做出统计推断。

    Bootstrap是一种非常重要的方法,常常应用于各种玄学建模 。需要注意的是Bootstrap方法也有参数版本的方法,在这里并不讨论。

    Bootstrap实现的Python代码如下:

    # -*- coding: UTF-8 -*-
    import numpy as np
    import matplotlib.pyplot as plt
    def bootstrap(data):
        temp = []
        while len(temp) != len(data):
            r = np.random.randint(0,len(data))
            temp.append(data[r])
        temp = np.array(temp)
        return temp
    
    
    if __name__ == "__main__":
        male = np.array([72,62,70,60,75,55,71,48])
        female = np.array([60,86,83,53,75,65,89,56])
        v = []
        for i in range(2000):
            mbootstrap = bootstrap(male)
            fbootstrap = bootstrap(female)
            v.append(np.median(mbootstrap) - np.median(fbootstrap))
        v = np.array(v)
        plt.hist(v,bins=50)
        plt.show()
    

    Permutation

    Permutation,翻译为中文就是排列、置换的意思。在参数方法中进行假设检验,我们一般是假设或者已知总体的分布,然后构造统计量,得到这个统计量在零假设为真时的抽样分布,然后在抽样分布中计算p值,做出推断。而Permutation使得我们可以得到对任意统计量在零假设为真时的抽样分布,从而进行统计推断。接下来我们举例说明Permutation的过程。

    我们仍然使用成绩与性别的关系数据:

    MaleFemale
    7260
    6286
    7083
    6053
    7575
    5565
    7189
    4856

    H 0 : 男 女 成 绩 中 位 数 没 有 差 异 H_0:男女成绩中位数没有差异 H0: H 1 : 男 女 成 绩 中 位 数 有 差 异 H_1:男女成绩中位数有差异 H1:
    Permutation与Bootstrap类似,我们也需要将以下的步骤重复1000次以上:

    1. 把所有数字随机分配给Male( n 1 = 8 n_1=8 n1=8)和Female( n 2 = 8 n_2=8 n2=8)
    2. 计算Male和Female的中位数
    3. 计算并保存median(M)-median(F)

    重复1000次以上之后,我们就可以得到两组数据中位数差的近似分布,用直方图表示:
    在这里插入图片描述
    这样我们就获得了中位数差统计量的统计分布,然后我们根据这个分布和实际的中位数差,我们就可以计算出p值,从而进行统计推断。
    Permutation的Python代码如下:

    # -*- coding: UTF-8 -*-
    import numpy as np
    import matplotlib.pyplot as plt
    
    
    def permutation(data):
        perm = []
        num = set([])
        while len(perm) != len(data):
            r = np.random.randint(0, 16)
            if r not in num:
                perm.append(data[r])
                num.add(r)
        perm = np.array(perm)
        return perm
    
    
    if __name__ == "__main__":
        data = np.array([72, 62, 70, 60, 75, 55, 71, 48, 60, 86, 83, 53, 75, 65, 89, 56])
        diff = []
        for i in range(3000):
            temp = permutation(data)
            df = np.median(temp[:8]) - np.median(temp[8:])
            diff.append(df)
        diff = np.array(diff)
        plt.hist(diff, bins=50)
        plt.show()
    

    小结

    在这一篇博文中,我主要介绍以下几种非参数统计方法:

    • Wilcoxon符号秩检验
    • Wilcoxon秩和检验
    • Spearman相关性检验
    • Bootstrap
    • Permutation

    但无论是参数方法还是非参数方法都属于频率论的范畴,它们都存在着一个致命的缺陷:它们的检验过程是在假定零假设成立的情况下进行的,为了解决这个问题,需要把目光投向另一个统计学领域——贝叶斯统计。

    展开全文
  • 目录起点:对数据关系的数学表示均值方差协方差相关系数intuition 1: 向量夹角intuition 2: 协方差标准化intuition 3: OLS回归 起点:对数据关系的数学表示 当我们观察到某些变量的样本,我们希望用这些样本构造出...
  • 本篇博文将定义顺序统计量并讨论这种统计量的一些简单性质。近些年来这种统计量在统计推断中占有重要角色,因为他们的某些性质不依赖于得到随意样本的分布。X1,X2,…,XnX_1,X_2,\ldots,X_n表示连续型分布中得到的...
  • 样本估计量是样本的一个函数,在统计学中称作统计量,因此抽样分布也是指统计量的分布。以样本平均数为例,它是总体平均数的一个估计量,如果按照相同的样本容量,相同的抽样方式,反复地抽取样本,每次可以计算一个...
  • 线性拟合 相关统计量理解

    万次阅读 2017-10-31 14:35:22
    “回归分析”是解析“注目变量”“因于变量”并明确两者关系统计方法。此时,我们把因子变量称为“说明变量”,把注目变量称为“目标变量址(被说明变量)”。清楚了回归分析的目的后,下面我们以回归分析预测法的...
  • 忽略paddingstride的话,输入层,卷积核输出层的关系,以及参数量、计算如下(第二行是一个例子) 关于参数量:每个卷积核有K×K×MK×K×MK×K×M个参数,那么共有N个卷积核,参数量就是K×K×M×NK×K×M×NK...
  • 4 描述性统计量和统计图

    万次阅读 2017-02-08 11:28:26
    描述性统计量包括均值、方差、标准差、最大值、最小值、极差、中位数、分位数、众数、变异系数、中心矩、原点炬、偏度、峰度、协方差相关系数。  统计图包括箱线图、直方图、经验分布函数图、正态概率图、P-P图...
  • 时间序列分析之ADF检验

    万次阅读 多人点赞 2019-02-06 18:59:09
    在使用很多时间序列模型的时候,如 ARMA、ARIMA,都会要求时间序列是平稳的,所以一般在研究一段时间序列的时候,第一步都需要进行平稳性检验,除了用肉眼检测的方法,另外比较常用的严格的统计检验方法就是ADF检验...
  • 因此,α=0.05 此测试的测试统计量是W在下面定义的W 1 W 2中的较小者: W1:正秩 W2:负秩 W 1 = 17.5 W 2 = 3.5 W =min(W 1 ,W 2 )= 3.5 在这里,如果W 1 与W 2 相似,那么我们接受零假设。否则,在中,...
  • 推理输出如下,可以发现 yolov5 本身yolov5-5.0/utils/torch_utils.py 下 model_info 方法已对 参数和计算进行统计,对比可以发现 parameters 数值一致 计算 GFLOPS 存在差异 【未深入探究,需要对比 model_info...
  • 本文对抽样分布的概念、无偏差最小偏差等性质,以及中心极限定理样本比例的抽样分布进行总结。2 抽样分布基本概念 ...常见的参数和样本统计量如下表所示。 总体参数样本统计量 均值μ\mux¯\bar{x} 中位数η\etam
  • 卷积层的参数量和卷积核的大小、输入输出通道数相关;全连接层的参数量则只与输入输出通道数有关。 MACCs:是multiply-accumulate operations,指点积运算, 一个 macc = 2FLOPs FLOPs 的全称是 floating points of...
  • scipy求一些统计量的p值分位数

    万次阅读 2016-10-06 11:05:33
    scipy.stats模块中有不少涉及计算统计量的子模块 如 scipy.stats.uniform scipy.stats.norm scipy.stats.t scipy.stats.chi2 scipy.stats.f ...这里重点介绍求F统计量的p值分位数,t统计量
  • [机器学习篇]机器学习知识总结篇

    万次阅读 热门讨论 2017-03-08 22:36:48
    机器学习的一般方法横向比较 数学是有用的:以SVD为例 机器学习的角度看数学 复习数学分析 直观解释常数e 导数/梯度 随机梯度下降 Taylor展式的落地应用 gini系数 凸函数 Jensen不等式 ...
  • seaborn(一)——可视化统计量间的关系(relationship) seaborn关注的是统计量之间的关系。 x,y一般为数值型数据,关注两个数值变量之间的关系 sns.relplot() relplot(): sns.replot(kind=“scatter”),相当...
  • 目录 神经网络模型简述 ...常用的货运预测方法包括时间序列方法、移动平滑法、指数平滑随机时间序列方法、相关(回归)分析法、灰色预测方法作为多种方法综合的组合预测方法等.这些方法大都集中在对...
  • 这里介绍两种方法 1、使用相关的库torchsummary from torchsummary import summary net=net.to(torch.device... 统计结果比较详细,参数量、浮点数计算、中间变量、train的变量数、保持不变的变量数,每...
  • 参数统计

    千次阅读 2017-08-23 21:56:39
    参数统计 出自 MBA智库百科(http://wiki.mbalib.com/) 非参数统计(Nonparametric statistics) 目录 [隐藏] 1 什么是非参数统计2 非参数统计的适用范围3 非参数统计的特点4 非参数统计...
  • 图像分割综述

    万次阅读 多人点赞 2019-07-09 22:03:48
    它探索了卷积神经网络的深度其性能之间的关系,通过反复的堆叠3 3的小型卷积核2 2的最大池化层,成功的构建了16~19层深的卷积神经网络。VGGNet获得了ILSVRC 2014年比赛的亚军定位项目的冠军,在top5上的错误率...
  • 多元线性回归分析理论详解及SPSS结果分析

    万次阅读 多人点赞 2017-05-17 16:23:23
    当影响因变量的因素是多个时候,这种一个变量同时与多个变量的回归问题就是多元回归,分为:多元线性回归多元非线性回归。这里直说多元线性回归。对比一元线性回归: 1.1多元回归模型: y=β0+β1x1+β2x2+…+β...
  • 2020美赛C题主要分为问题一问题二的五个小问,其中第一问是为第二问做的准备,包括数据预处理词频分析等等,而第二问的每个小问都涉及到一定的建模与运算…… 这篇文章是博主第一天在查找文献,小组讨论,指导...
  • 衡量参数估计的指标2.1 无偏性2.2 一致性2.3 有效性3. 一些引理3.1 期望运算的线性性3.2 期望运算的线性性4. *β*^~OLS~ 的性质4.1 *β*^~OLS~ 服从的分布4.2 *β*^~OLS~ 与误差项之间的关系4.3 *β*^~OLS~ 的无偏...
  • 机器学习中参数模型参数模型理解

    千次阅读 多人点赞 2019-06-28 21:07:50
    参数模型(non-parametric model)和参数模型(parametric model)作为数理统计学中的概念,现在也常用于机器学习领域中。 在统计学中,参数模型通常假设总体服从某个分布,这个分布可以由一些参数确定,如正态...
  • 充分统计量(Sufficient Statistics)

    千次阅读 2013-11-11 23:33:53
    而充分统计量,则能够完全捕捉这些参数所包含的关于分布的信息。也就是说,如果知道充分统计量的值,那么这个随机变量关于它的条件分布,不再取决于原来参数的值。网上找到的定义如下: In statistics, a stat
  • 统计检验中的两类错误 在进行假设检验时,分别提出原假设(Null Hypothesis)备择假设(Alternative Hypothesis),检验结果可能出现的两类错误: 原假设实际上是正确的,而检验结果却拒绝原假设,称为第一类/...
  • 数据仓库、OLAP和 数据挖掘、统计分析的关系和区别分析 一、什么是数据挖掘  数据挖掘(Data Mining),又称为数据库中的知识发现(Knowledge Discovery in Database, KDD),就是从大量数据中获取有效的、新颖的、...
  • 参数统计 作业(第五章第六章)

    千次阅读 2018-12-07 23:57:52
    满意度为类变量,可进行Ridit分析,根据Ridit分析原理编写相应检验程序ridit.test,该函数返回每个处理的得分、95%置信区间、统计量W值以及Kruskal—Wallis检验p值。 分析过程 载入数据,分析数据结构 data&lt;-...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 200,804
精华内容 80,321
关键字:

参数和统计量的关系