精华内容
下载资源
问答
  • 协方差的物理意义

    千次阅读 2016-10-25 11:31:40
    学过概率统计都知道,统计里最基本概念就是样本均值,方差,或者再加个标准差。首先我们给你一个含有n个样本集合,依次给出这些概念公式描述, 均值: 标准差: 方差: 很显然,均值描述是样本...

    源地址:http://www.pinkyway.info/2010/08/31/covariance/

    统计学的基本概念

    学过概率统计都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差。首先我们给你一个含有n个样本的集合X=\{{X_{1},\ldots,X_{n}}\},依次给出这些概念的公式描述,

    均值:\bar{X}=\frac{\sum_{i=1}^n X_{i}}{n}
    标准差:s=\sqrt{\frac{\sum_{i=1}^n (X_{i}-\bar{X})^2}{n-1}}
    方差:s^2=\frac{\sum_{i=1}^n (X_{i}-\bar{X})^2}{n-1}

    很显然,均值描述的是样本集合的中间点,它告诉我们的信息是很有限的,而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例,[0,8,12,20]和[8,9,11,12],两个集合的均值都是10,但显然两个集合差别是很大的,计算两者的标准差,前者是8.3,后者是1.8,显然后者较为集中,故其标准差小一些,标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n,是因为这样能使我们以较小的样本集更好的逼近总体的标准差,即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。

    为什么需要协方差?

    上面几个统计量看似已经描述的差不多了,但我们应该注意到,标准差和方差一般是用来描述一维数据的,但现实生活我们常常遇到含有多维数据的数据集,最简单的大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集,我们当然可以按照每一维独立的计算其方差,但是通常我们还想了解更多,比如,一个男孩子的猥琐程度跟他受女孩子欢迎程度是否存在一些联系啊,嘿嘿~协方差就是这样一种用来度量两个随机变量关系的统计量,我们可以仿照方差的定义:

    var(X)=\frac{\sum_{i=1}^n (X_{i}-\bar{X})(X_{i}-\bar{X})}{n-1}

    来度量各个维度偏离其均值的程度,标准差可以这么来定义:

    cov(X,Y)=\frac{\sum_{i=1}^n (X_{i}-\bar{X})(Y_{i}-\bar{Y})}{n-1}

    协方差的结果有什么意义呢?如果结果为正值,则说明两者是正相关的(从协方差可以引出“相关系数”的定义),也就是说一个人越猥琐就越受女孩子欢迎,嘿嘿,那必须的~结果为负值就说明负相关的,越猥琐女孩子越讨厌,可能吗?如果为0,也是就是统计上说的“相互独立”。

    从协方差的定义上我们也可以看出一些显而易见的性质,如:

    1. cov(X,X)=var(X)
    2. cov(X,Y)=cov(Y,X)

    协方差多了就是协方差矩阵

    上一节提到的猥琐和受欢迎的问题是典型二维问题,而协方差也只能处理二维问题,那维数多了自然就需要计算多个协方差,比如n维的数据集就需要计算\frac{n!}{(n-2)!*2}个协方差,那自然而然的我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义:

    C_{n\times n}=(c_{i,j},c_{i,j}=cov(Dim_{i},Dim_{j}))

    这个定义还是很容易理解的,我们可以举一个简单的三维的例子,假设数据集有\{x,y,z\}三个维度,则协方差矩阵为

     

    可见,协方差矩阵是一个对称的矩阵,而且对角线是各个维度上的方差。

    Matlab协方差实战

    上面涉及的内容都比较容易,协方差矩阵似乎也很简单,但实战起来就很容易让人迷茫了。必须要明确一点,协方差矩阵计算的是不同维度之间的协方差,而不是不同样本之间的。这个我将结合下面的例子说明,以下的演示将使用Matlab,为了说明计算原理,不直接调用Matlab的cov函数(蓝色部分为Matlab代码)。

    首先,随机产生一个10*3维的整数矩阵作为样本集,10为样本的个数,3为样本的维数。
    MySample = fix(rand(10,3)*50)

     

    根据公式,计算协方差需要计算均值,那是按行计算均值还是按列呢,我一开始就老是困扰这个问题。前面我们也特别强调了,协方差矩阵是计算不同维度间的协方差,要时刻牢记这一点。样本矩阵的每行是一个样本,每列为一个维度,所以我们要按列计算均值。为了描述方便,我们先将三个维度的数据分别赋值:

    dim1 = MySample(:,1);
    dim2 = MySample(:,2);
    dim3 = MySample(:,3);

    计算dim1与dim2,dim1与dim3,dim2与dim3的协方差:

    sum( (dim1-mean(dim1)) .* (dim2-mean(dim2)) ) / ( size(MySample,1)-1 ) % 得到 74.5333
    sum( (dim1-mean(dim1)) .* (dim3-mean(dim3)) ) / ( size(MySample,1)-1 )
     % 得到 -10.0889
    sum( (dim2-mean(dim2)) .* (dim3-mean(dim3)) ) / ( size(MySample,1)-1 )
     % 得到 -106.4000

    搞清楚了这个后面就容易多了,协方差矩阵的对角线就是各个维度上的方差,下面我们依次计算:

    std(dim1)^2 % 得到 108.3222
    std(dim2)^2
     % 得到 260.6222
    std(dim3)^2
     % 得到 94.1778

    这样,我们就得到了计算协方差矩阵所需要的所有数据,调用Matlab自带的cov函数进行验证:

    cov(MySample)

     

    把我们计算的数据对号入座,是不是一摸一样?

    Update:今天突然发现,原来协方差矩阵还可以这样计算,先让样本矩阵中心化,即每一维度减去该维度的均值,使每一维度上的均值为0,然后直接用新的到的样本矩阵乘上它的转置,然后除以(N-1)即可。其实这种方法也是由前面的公式通道而来,只不过理解起来不是很直观,但在抽象的公式推导时还是很常用的!同样给出Matlab代码实现:

    X = MySample – repmat(mean(MySample),10,1); % 中心化样本矩阵,使各维度均值为0
    C = (X’*X)./(size(X,1)-1)

    总结

    理解协方差矩阵的关键就在于牢记它计算的是不同维度之间的协方差,而不是不同样本之间,拿到一个样本矩阵,我们最先要明确的就是一行是一个样本还是一个维度,心中明确这个整个计算过程就会顺流而下,这么一来就不会迷茫了~

    展开全文
  • 1. 统计学 1.1 (样本)方差、均...样本方差算术平方根 叫做样本标准差物理含义 样本方差(或均方差)都是衡量一个样本波动大小量。即,样本数据围绕样本均值波动越大,样本方差(或均方差)越大。 ...

    正规方程

    最小二乘法 变换之后的方程(这个有确定解的代数方程组称为最小二乘法估计的正规方程)。
    适定问题 VS 不适定问题
    适定问题是指定解满足下面三个要求的问题:
    ① 解是存在的;
    ② 解是唯一的;
    ③ 解连续依赖于定解条件,即解是稳定的。
    这三个要求中,只要有一个不满足,则称之为不适定问题。

    #1. 统计、概率
    ##1.1 方差(Variance)
    统计中:样本方差 样本中各个数据与样本均值的差 的平方和 的平均数;
    概率中:方差用来度量 随机变量与其数学期望之间的偏离程度,即,误差的平方的期望
    公式D(X)=E{[XE(X)][XE(X)]T}D(X)=E\{[X-E(X)][X-E(X)]^T\}
    其中,XX为随机变量构成的矢量,即,X=[x1,x2, ,xn]TX=[x_1,x_2,\cdots,x_n]^T
    D(X)D(X)的结果是一个方差矩阵,其第ii行第jj个元素,为随机变量xix_ixjx_j的协方差。
    这里写图片描述


    ##1.2 标准差(Standard Deviation)、均方差

    方差的算术平方根 叫做标准差,中文环境中又称为均方差。(二者完全相同)
    公式σ(X)=D(X)\sigma(X)=\sqrt{D(X)}

    引入标准差的原因是
    将方差开根号后,得到的标准差 可以与 随机变量、均值等量保持相同的量纲。

    物理含义
    方差(或均方差)都是衡量一个样本波动大小的量。即,样本数据围绕样本均值的波动越大,样本方差(或均方差)越大。


    ##1.3 均方根误差(Root Mean Squared Error)、均方误差

    或称均方根差、方均根差、方均根偏移等,
    英文:Root Mean Square Error、RMSE、Root Mean Square Deviation、RMSD

    均方根误差是各个数据偏离真实值的误差 的平方和 的平均数 再开平方;
    不开平方 即为均方误差
    公式RMSE=1ni=1n(xobj,ixmodel,i)RMSE=\sqrt{\frac{1}{n}\sum^n_{i=1}(x_{obj,i}-x_{model,i})}

    [注]
    均方差(标准差)是数据序列与均值之间的关系,用来衡量该数据序列自身的离散程度;
    而均方根误差是数据序列与真实值之间的关系,用来衡量观测值同模型真值之间的偏差。
    二者虽然计算过程类似,但是研究对象和研究目的不同。

    惯导系统中对比各种滤波算法的效果,多用该量进行衡量。


    #2. 编程实现

    2.1 标准差

    matlab 中提供了 std 函数计算标准差。
    std(A,flag,dim)
    详见书籍P143

    2.2 误差均方根(RMSE)

    **惯导系统中,**在进行滤波算法仿真实验时,会在同样仿真参数设置下,进行多次仿真实验(以30次为例):
    RMSE=sqrt(sum((realhat-real).^2)/10)

    real = [135,142,156,165,170,220,225,275,300,450];%模型理论真实值
    realhat =[95.3329,126.2888,152.0854,177.8820,203.6786,229.4753,255.2719,281.0685,332.6617,384.2549];%观测值、滤波结果
    RMSE=sqrt(sum((realhat-real).^2)/10)
    
    展开全文
  • 众所周知,模型expressive power越强,generalization可靠性越。 SVM通过对“容错率”考量中和了高纬度模型风险。 SVM在数学上可以看做一种加入了regulizer 回归法。 解SVM问题,可以...

     SVM是一种优化过的分类算法。和PLA的区别在于会选择“容错率”最大的hyperplane。


    众所周知,模型的expressive power越强,generalization的可靠性越差。


    SVM通过对“容错率”的考量中和了高纬度模型的风险。


    SVM在数学上可以看做一种加入了regulizer 的回归法。


    解SVM问题,可以只用标准QP solver。


    Dual SVM problem has N variables to solve, as many as the number of the data points. The aim is to find out which vectors are support vectors.


    In the procedure of solving a dual SVM problem, we need to calculate the inner product of every feature vector. It would be a lot of work with high dimention. Thus we can use kernel function to do these kinds of work to improve the efficiency.


    We can choose the coefficient carefully to get more efficiency.


    By kernel, we can use infinite dimention transformation of data.

    展开全文
  • 1. 均值、方差、均方值、均方差计算和它们的物理意义 https://blog.csdn.net/wordwarwordwar/article/details/63251674 2.数字信号处理中均值、均方值、均方差、均方根值、均方误差、均方根误差、方差、协方差、...

    1. 均值、方差、均方值、均方差计算和它们的物理意义

          https://blog.csdn.net/wordwarwordwar/article/details/63251674

    2. 数字信号处理中均值、均方值、均方差、均方根值、均方误差、均方根误差、方差、协方差、标准差对比分析及统计学意义

          https://blog.csdn.net/baidu_34749582/article/details/103416667

    3. 方差、协方差、标准差、均方差、均方根值、均方误差、均方根误差对比分析

         https://blog.csdn.net/cqfdcw/article/details/78173839

    4.  信号的方差与功率的关系

    只考虑连续形随机变量

    功率

    功率谱密度和方差的关系,只考虑高斯白噪声:

     

     

    展开全文
  • 正态分布现实意义理解(结合标准差、期望) 正态分布(Normaldistribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要概率分布,在统计学许多方面有着重大影响力。...
  • /*pa指向a[2],即pa值为&pa[2]*/ 指针变量加减运算只能对数组指针变量进行, 对指向其它类型变量指针变量作加减运算是毫无意义的。(3)两个指针变量之间运算只有指向同一数组两个指针变量之间才能进行运算...
  • 1.意义 高斯曲线 ,又叫做gaussian curve,是正态分布中的一条标准曲线。具有以下特征: 1.1 正态曲线在横轴上方均数处...在分析仪器的测量中,有许多具有明确的物理意义的二维图谱,如光谱图、色谱图等,许多测...
  • 一、用分项指标表示法 在介绍称重传感器技术参数时,传统方法是采用分项指标,其优点是物理意义明确,沿用多年,熟悉人较多。我们现在列出其主要项目如下:*额定容量 生产厂家给出称量范围上限值。  *额定...
  • 使用一个简单但更通用ansatz,我们证明了最初报告750 GeV过量局部意义可能被多个标准差高估了。 我们还通过比较基于2015年和2016年LHC数据集拟合结果来交叉检查我们分析。 最后,我们在可用13 TeV LHC...
  • MATLAB随机信号统计特征

    千次阅读 2019-04-01 23:01:55
    % 生成一标准差为1,均值为0,成正太分布(高斯分布)随机噪声 % 功能:求其概率密度函数p,均值mu,方差sigmax2,标准差sigmax,均方值x2_,有效值RMS, % 对零均值噪声,均方值 = 方差+均值平方=方差, % 又...
  • 使用matlab对数据时域特征有量纲参数的计算 ...有量纲参数就是有单位的,包含实际意义的物理量,是最为常用的特征指标。无量纲参数一般是两个有量纲参数的积或者比。 ​ 我们在matlab中创建一个随机数组。 a=rand(100,
  • 一、用分项指标表示法 在介绍称重传感器技术参数时,传统方法是采用分项指标,其优点是物理意义明确,沿用多年,熟悉人较多。我们现在列出其主要项目如下:*额定容量 生产厂家给出称量范围上限值。  *额定...
  • 仿真结果表明,该非线性航磁补偿方法可有效解决传统航磁补偿方法无法补偿通道间延迟问题,有效地降低各类信号延迟导致补偿偏差,补偿后信号的标准差降低至10-4 nT/m量级,该剩余残差水平与光泵磁力仪本底...
  • 张宇带你学高数

    2018-06-11 13:35:26
    10.1.1.定义、几何与物理意义 10.1.2.性质 重积分运算 积分区域可加性 二重积分不等式性质 二重积分最大最小值性质 二重积分中值定理 10.1.3.计算方法 利用直角坐标系计算二重积分 利用极坐标系计算...
  • 1.随机变量数学期望 X 2 -1 3 P(X=Xi) 0.3 0.2 0.5 ...E(X)=0.3*2+0.2*(-1)+0.5*3(X代表随机变量,取值依次为X1,X2,X3对应...因为方差将其进行了平方,会导致物理意义可能产生变化(长度成绩变成.
  • 然而,一方面由于传统样本熵采用与标准差线性相关容限,使得熵值易受非平稳突变干扰影响,另一方面传统样本熵还受序列概率分布影响,从而导致其并非单纯反映序列信息增长率.针对上述两个问题,将符号动力学与样本...
  • npm 中模块物理上都是复制存储 2. CSS 样式载入时机太慢(为了做到离线页面秒出 UI。样式必须比 JS 提前载入,在 DOM 构建时就生效),CSS 问题在 WebPack 和 Browserify 中无解决...
  • 韦伯定律

    千次阅读 2016-12-14 14:23:29
    为了描述连续意义上心理量与物理关系,德国物理学家费希纳(1801-1887)在韦伯研究基础上,于1860年提出了一个假定:把最小可觉(连续差别阈限)作为感觉量单位,即每增加一个差别阈限,心
  • 软件工程教程

    热门讨论 2012-07-06 23:10:29
    形成了承载模型语义背板,赋予模型意义,各种图仅仅是该背板视图或者可视化投影 修饰 修饰:图中建模元素上暴露信息项 任何UML图仅是模型视图, 只有在修饰增强了图整体清晰性和可读性或者突出模型某些...
  • 语音识别技术文章.rar

    热门讨论 2011-05-12 10:31:08
    4.2.1 短时傅里叶变换定义和物理意义 4.2.2 基于短时傅里叶变换语谱图及其时频分辨率 4.2.3 短时傅里叶谱采样 4. 3 小波变换 4.3.1 连续小波变换 4.3.2 二进小波变换 4.3.3 离散小波变换 4.3.4 多分辨...
  • 常规数据加密标准DES采用【B】有效密钥位对64位数据块进行加密。 A.64 B.56 C.112 D.128 常规数据加密标准DES对【A】位数据块进行加密。 A.64 B.56 C.112 D.128、 对于RSA算法不正确是【C】 A....
  • 本章小结本章简要介绍了课题背景和意义在总结国内外学者对行星传动技术研究进展以及虚拟样机技术应用情况后确定本了文研究内容和研究方法。www.docin.com第页武汉科技大学硕士学位论文...
  • 1 短时傅里叶变换定义和物理意义  4. 2. 2 基于短时傅里叶变换语谱图及其时频分辨率  4. 2. 3 短时傅里叶谱采样  4. 3 小波变换  4. 3. 1 连续小波变换  4. 3. 2 二进小波变换  4. 3. 3 ...
  • 采用这种加密方式进行加密,加解密运算可在客户端进行,它优点是不会加重数据库服务器负载并且可以实现网上传输加密,缺点是加密功能会受到一些限制,与数据库管理系统之间耦合性稍。 数据库加密系统...
  • 实用语音识别基础

    热门讨论 2013-08-01 19:58:17
    1 短时傅里叶变换定义和物理意义  4. 2. 2 基于短时傅里叶变换语谱图及其时频分辨率  4. 2. 3 短时傅里叶谱采样  4. 3 小波变换  4. 3. 1 连续小波变换  4. 3. 2 二进小波变换  4. 3. 3 ...

空空如也

空空如也

1 2 3
收藏数 41
精华内容 16
关键字:

标准差的物理意义