精华内容
下载资源
问答
  • 协方差矩阵意义

    千次阅读 2018-03-26 11:41:56
    协方差矩阵意义: 方差是变量减均值的期望,两个变量的协方差是变量一减均值,乘以,变量二减均值,的期望。协方差矩阵,就是多个变量两两间协方差值,按顺序排成的矩阵。协方差的意义是,衡量两个变量偏差变化...

    协方差矩阵的意义:
    方差是变量减均值的期望,两个变量的协方差是变量一减均值,乘以,变量二减均值,的期望。协方差矩阵,就是多个变量两两间协方差值,按顺序排成的矩阵。协方差的意义是,衡量两个变量偏差变化趋势是否一致,除以两变量标准差之积以标准化,即相关系数

    对于机器学习领域的PCA来说,如果遇到的矩阵不是方阵,需要计算他的协方差矩阵来进行下一步计算,因为协方差矩阵一定是方阵,而特征值分解针对的必须是方阵,svd针对的可以是非方阵情况。

    机器学习降维算法一:PCA (Principal Component Analysis)
    主成分分析算法(PCA)是最常用的线性降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中表示,并期望在所投影的维度上数据的方差最大,以此使用较少的数据维度,同时保留住较多的原数据点的特性。
    http://www.cnblogs.com/xbinworld/archive/2011/11/24/pca.html

    展开全文
  • 协方差矩阵及其意义

    2021-01-14 22:02:16
    协方差矩阵 ...其中关于协方差矩阵的内容我剪切到下面了,见下...协方差矩阵意义 下部分引自另一篇博客https://blog.csdn.net/qq_23100417/article/details/84935692 协方差代表的意义是什么? 在概率论中,两个随机

    协方差矩阵

    • 这里有一篇知乎回答的非常详细,网址如下:https://zhuanlan.zhihu.com/p/37609917
    • 其中关于协方差矩阵的内容我剪切到下面了,见下图
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
    • 之所以除以n-1而不是除以n,是因为这样能使我们以较小的样本集更好的逼近总体的标准差,即统计上所谓的“无偏估计”。

    协方差矩阵的意义

    • 下部分引自另一篇博客https://blog.csdn.net/qq_23100417/article/details/84935692

    • 协方差代表的意义是什么?
      在概率论中,两个随机变量 X 与 Y 之间相互关系,大致有下列3种情况:
      在这里插入图片描述
      情况一,如上, 当 X, Y 的联合分布像上图那样时,我们可以看出,大致上有: X 越大 Y 也越大, X 越小 Y 也越小,这种情况,我们称为“正相关”。
      在这里插入图片描述
      情况二, 如上图, 当X, Y 的联合分布像上图那样时,我们可以看出,大致上有:X 越大Y 反而越小,X 越小 Y 反而越大,这种情况,我们称为“负相关”。
      在这里插入图片描述
      情况三,如上图, 当X, Y 的联合分布像上图那样时,我们可以看出:既不是X 越大Y 也越大,也不是 X 越大 Y 反而越小,这种情况我们称为“不相关”。

    • 怎样将这3种相关情况,用一个简单的数字表达出来呢?
      在图中的区域(1)中,有 X>EX ,Y-EY>0 ,所以(X-EX)(Y-EY)>0;
      在图中的区域(2)中,有 X<EX ,Y-EY>0 ,所以(X-EX)(Y-EY)<0;
      在图中的区域(3)中,有 X<EX ,Y-EY<0 ,所以(X-EX)(Y-EY)>0;
      在图中的区域(4)中,有 X>EX ,Y-EY<0 ,所以(X-EX)(Y-EY)<0。

    • 当X 与Y 正相关时,它们的分布大部分在区域(1)和(3)中,小部分在区域(2)和(4)中,所以平均来说,有E(X-EX)(Y-EY)>0 。
      当 X与 Y负相关时,它们的分布大部分在区域(2)和(4)中,小部分在区域(1)和(3)中,所以平均来说,有(X-EX)(Y-EY)<0 。
      当 X与 Y不相关时,它们在区域(1)和(3)中的分布,与在区域(2)和(4)中的分布几乎一样多,所以平均来说,有(X-EX)(Y-EY)=0 。

    • 所以,我们可以定义一个表示X, Y 相互关系的数字特征,也就是协方差
      cov(X, Y) = E[(X-EX)(Y-EY)]
      当 cov(X, Y)>0时,表明 X与Y 正相关;
      当 cov(X, Y)<0时,表明X与Y负相关;
      当 cov(X, Y)=0时,表明X与Y不相关。
      且绝对值越大,相关性越大。

      这就是协方差的意义。

    • 上面是协方差的意义,协方差堆在一起就组成了协方差矩阵。

    协方差的计算方法

    • 此处待定吧,感觉协方差的计算交给计算机就好了,但此处也确实是协方差领域的一个知识点,暂时空余,日后有需要再补充。
    • 侵删。
    展开全文
  • 协方差矩阵和散布矩阵(散度矩阵)的意义

    万次阅读 多人点赞 2017-03-31 19:27:42
    协方差矩阵和散布矩阵的意义 在机器学习模式识别中,经常需要应用到协方差矩阵C和散布矩阵S。如在PCA主成分分析中,需要计算样本的散度矩阵,有的论文是计算协方差矩阵。实质上二者意义差不多,散布矩阵(散度矩阵...

    协方差矩阵和散布矩阵的意义

        【尊重原创,转载请注明出处】http://blog.csdn.net/guyuealian/article/details/68922981

          在机器学习模式识别中,经常需要应用到协方差矩阵C和散布矩阵S。如在PCA主成分分析中,需要计算样本的散度矩阵,有的论文是计算协方差矩阵实质上二者意义差不多,散布矩阵(散度矩阵)前乘以系数1/(n-1)就可以得到协方差矩阵了。

       在模式识别的教程中,散布矩阵也称为散度矩阵,有的也称为类内离散度矩阵或者类内离差阵,用一个等式关系可表示为:

      关系:散度矩阵=类内离散度矩阵=类内离差阵=协方差矩阵×n-1

        样本的协方差矩阵乘以n-1倍即为散布矩阵,n表示样本的个数,散布矩阵的大小由特征维数d决定,是一个为d×的半正定矩阵。

    一、协方差矩阵的基础

       对于二维随机变量(X,Y)之间的相互关系的数字特征,我们用协方差来描述,记为Cov(X,Y):


    那么二维随机变量(X,Y)协方差矩阵,为

    对于三维随机变量X=X1, X2, X3的协方差矩阵可表示为:



            对于nX=X1, X2....X n协方差矩阵:


    说明:

         (1)协方差矩阵是一个对称矩阵,且是半正定矩阵,主对角线是各个随机变量 的方差(各个维度上的方差)。

       (2)标准差和方差一般是用来描述一维数据的;对于多维情况,而协方差是用于描述任意两维数据之间的关系,一般用协方差矩阵来表示。因此协方差矩阵计算的是不同维度之间的协方差,而不是不同样本之间的

       (3)协方差计算过程可简述为:先求各个分量的均值E(Xi)E(Xj),然后每个分量减去各自的均值得到两条向量,在进行内积运算,然后求内积后的总和,最后把总和除以n-1

    例子:设有8个样本数据,每个样本有2个特征:(1,2);(3 3);(3 5);(5 4);(5 6);(6 5);(8 7);(9 8),那么可以看作二维的随机变量(X,Y),即

       X =[1 3 3 5 5 6 8 9]

       Y =[2 3 5 4 6 5 7 8]

       Matlab中可以使用cov(X, Y)函数计算样本的协方差矩阵,其中X,Y都是特征向量。当然若用表示样本的矩阵(X中每一行表示一个样本,每列是一个特征),那么可直接使用cov(X)计算了。

    clear all
    clc
    X=[1,2;3 3;3 5;5 4;5 6;6 5;8 7;9 8]%样本矩阵:8个样本,每个样本2个特征
    covX= cov(X)%使用cov函数求协方差矩阵
    运行结果为:

    covX =
    
        7.1429    4.8571
        4.8571    4.0000
    当然,可以按定义计算,Matlab代码如下:
    clear all
    clc
    X=[1,2;3 3;3 5;5 4;5 6;6 5;8 7;9 8] %样本矩阵:8个样本,每个样本2个特征
    covX= cov(X)                                %使用cov函数求协方差矩阵
    %% 按定义求协方差矩阵:(1)使用分量的方法,先求协方差,再组合成协方差矩阵
    meanX=mean(X)        %样本均值
    varX=var(X)               %样本方差
    [Row Col]=size(X);
    dimNum=Row;          %s样本个数size(X,1)=8
    dim1=X(:,1);              %特征分量1
    dim2=X(:,2);              %而在分量2
    c11=sum( (dim1-mean(dim1)) .* (dim1-mean(dim1)) ) / ( dimNum-1 );
    c21=sum( (dim2-mean(dim2)) .* (dim1-mean(dim1)) ) / ( dimNum-1 ); 
    c12=sum( (dim1-mean(dim1)) .* (dim2-mean(dim2)) ) / ( dimNum-1 ); 
    c22=sum( (dim2-mean(dim2)) .* (dim2-mean(dim2)) ) / ( dimNum-1 );
    C22=[c11,c12;c21,c22]%协方差矩阵
    
    %% 或者(2)直接求协方差矩阵:
    tempX= repmat(meanX,Row,1);  
    C22=(X-tempX)'*(X-tempX)/(dimNum-1)

    运行结果:
    covX =
    
        7.1429    4.8571
        4.8571    4.0000
    
    meanX =
    
         5     5
    
    varX =
    
        7.1429    4.0000
    
    C22 =
    
        7.1429    4.8571
        4.8571    4.0000
    
    C22 =
    
        7.1429    4.8571
        4.8571    4.0000

    说明:从中可以发现,样本的协方差矩阵的对角线即为样本的方差。


    二、协方差矩阵的意义

       为了更好理解协方差矩阵的几何意义,下面以二维正态分布图为例(假设样本服从二维正态分布):


    clear all;clc
    mu=[0,0];         % 均值向量
    C=[5 0;0 1]       %样本的协方差矩阵
    [V,D] =eigs(C)    %求协方差矩阵的特征值D和特征向量V
     %% 绘制二维正态分布图
    [X,Y]=meshgrid(-10:0.3:10,-10:0.3:10);%在XOY面上,产生网格数据
    p=mvnpdf([X(:) Y(:)],mu,C);%求取联合概率密度,相当于Z轴
    p=reshape(p,size(X));%将Z值对应到相应的坐标上
    figure
    set(gcf,'Position',get(gcf,'Position').*[1 1 1.3 1])
    subplot(2,3,[1 2 4 5])
    surf(X,Y,p),axis tight,title('二维正态分布图')
    subplot(2,3,3)
    surf(X,Y,p),view(2),axis tight,title('在XOY面上的投影')
    subplot(2,3,6)
    surf(X,Y,p),view([0 0]),axis tight,title('在XOZ面上的投影');
    协方差矩阵C的特征值D和特征向量V分别为:

    V =
         1     0
         0     1
    
    D =
         5     0
         0     1

    说明:

       1)均值[0,0]代表正态分布的中心点,方差代表其分布的形状。

       2)协方差矩阵C的最大特征值D对应的特征向量V指向样本分布的主轴方向。例如,最大特征值D1=5对应的特征向量V1=[1 0]T即为样本分布的主轴方向(一般认为是数据的传播方向)。次大特征值D2=1对应的特征向量V2=[0 1]T,即为样本分布的短轴方向。



      

    协方差矩阵C的特征值D和特征向量V分别为:

    V =
         0     1
         1     0
    
    D =
    
         5     0
         0     5

     说明:

       1)由于协方差矩阵C具有两个相同的特征值D1=D2=5,因此样本在V1V2特征向量方向的分布是等程度的,故样本分布是一样圆形。

       2)特征值D1和D2的比值越大,数据分布形状就越扁;当比值等于1时,此时样本数据分布为圆形。



    协方差矩阵C的特征值D和特征向量V分别为:

    V =
        0.7071   -0.7071
        0.7071    0.7071
    
    D =
         6     0
         0     4

     说明:

       1)特征值的比值D1/D2=6/4=1.5>1,因此样本数据分布形状是扁形,数据传播方向(样本的主轴方向)为V1=[0.7071 0.7071]T


    综合上述,可知: 

    (1)样本均值决定样本分布中心点的位置。

    (2)协方差矩阵决定样本分布的扁圆程度。

       是扁还是圆,由协方差矩阵的特征值决定:当特征值D1和D2的比值为1时(D1/D2=1),则样本分布形状为圆形。当特征值的比值不为1时,样本分布为扁形;

       偏向方向(数据传播方向)由特征向量决定。最大特征值对应的特征向量,总是指向数据最大方差的方向(椭圆形的主轴方向)。次大特征向量总是正交于最大特征向量(椭圆形的短轴方向)。

    三、协方差矩阵的应用

        协方差矩阵(散布矩阵)在模式识别中应用广泛,最典型的应用是PCA主成分分析了,PCA主要用于降维,其意义就是将样本数据从高维空间投影到低维空间中,并尽可能的在低维空间中表示原始数据。这就需要找到一组最合适的投影方向,使得样本数据往低维投影后,能尽可能表征原始的数据。此时就需要样本的协方差矩阵。PCA算法就是求出这堆样本数据的协方差矩阵的特征值和特征向量,而协方差矩阵的特征向量的方向就是PCA需要投影的方向。

        关于PCA的原理和分析,请见鄙人的博客:

        PCA主成分分析原理分析和Matlab实现方法》:http://blog.csdn.net/guyuealian/article/details/68487833


    如果你觉得该帖子帮到你,还望贵人多多支持,鄙人会再接再厉,继续努力的~

    展开全文
  • 关于协方差矩阵的理解

    万次阅读 多人点赞 2013-09-09 07:45:39
    在《主成分分析》中,我们用到了协方差矩阵,但当时并没有对其进行深入的讨论。为此,本文将针对协方差矩阵做一个详细的介绍,其中包括协方差矩阵的定义、数学意义以及计算公式的推导。

          在《主成分分析》中,我们用到了协方差矩阵,但当时并没有对其进行深入的讨论。为此,本文将针对协方差矩阵做一个详细的介绍,其中包括协方差矩阵的定义、数学背景与意义以及计算公式的推导。




    若需要本文完整的 PDF 文档,请点击《协方差矩阵详谈》进行下载!


    作者: peghoty 

    出处: http://blog.csdn.net/itplus/article/details/11452743

    欢迎转载/分享, 但请务必声明文章出处.


    展开全文
  • 协方差矩阵与散度矩阵的意义

    千次阅读 2019-02-23 11:16:28
    实质上 两者意义差不多, 散度矩阵 乘以1/(n-1) 就 可以得到协方差矩阵了。 在模式识别中,散度矩阵也称为 散步矩阵,有的也称为类内离 散度矩阵或者类内离差阵,用一个等式关系可表示为: 散度...
  • 协方差矩阵的计算及意义

    万次阅读 多人点赞 2018-12-10 10:13:39
    一、首先看一个比较简洁明了的协方差计算介绍: 1. 协方差定义 X、Y 是两个随机变量,X、Y 的协方差 cov...矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的,这里默认数据是按行排列。即每一行是一个obs...
  • 假设原始数据为XXX,其协方差矩阵CCC为对称矩阵,协方差矩阵的特征分解为 C=VΛV−1=VΛVT(C为对称矩阵所以有V−1=VT)C=V\Lambda V^{-1}=V\Lambda V^{T}(C为对称矩阵所以有V^{-1}=V^{T})C=VΛV−1=VΛVT(C为...
  • Yining​交易员740 人赞同了该回答协方差矩阵实在是太重要了,无论是在计量,金融工程还是随机分析中,我们都会到用到协方差矩阵。其实,这三者都利用了协方差矩阵本身的含义,即随机变量之间的线性相关关系(当然,...
  • 协方差矩阵

    2019-09-21 20:19:43
    方差的意义就是估计不确定性,所以,协方差的意义也是一样的,只不过,协方差矩阵是多维待优化变量的一个矩阵,对角线上的为该优化变量的方差,非对角线上的为优化变量相对于其他变量的方差。 协方差矩阵非对角线...
  • 协方差、协方差矩阵的解释意义

    千次阅读 2014-08-28 21:37:20
    今天看论文的时候又看到了协方差矩阵这个破东西,以前看模式分类的时候就特困扰,没想到现在还是搞不清楚,索性开始查协方差矩阵的资料,恶补之后决定马上记录下来,嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差...
  • 协方差、协方差矩阵及其意义

    千次阅读 2014-05-09 21:46:51
    老会忘掉协方差的求法,还有一直不知道其代表的意义,比如l
  • 协方差矩阵对学统计的来说很重要,本文详细说明其相关知识(计算公式等)以及来历与实质含义。其实质主要是从一维到多维的一个推广。从以下几个点去描述它的来历: 一、低维样本情形的统计量:均值、标准差、方差 二...
  • 透彻理解协方差矩阵

    千次阅读 2019-12-13 13:18:04
    协方差及协方差矩阵有着特别广泛的应用,在多元高斯分布、高斯过程、卡尔曼滤波等算法中多有用到,本文从协方差、协方差矩阵讲起,并重点讲解协方差矩阵在高斯分布中的用法及意义,也是讲解高斯过程、贝叶斯优化的...
  • 协方差矩阵的实例与意义

    千次阅读 2017-02-18 00:17:00
    协方差矩阵的实例与意义
  • 协方差矩阵意义及计算

    千次阅读 2012-09-26 17:42:21
    今天看论文的时候又看到了协方差矩阵这个破东西,以前看模式分类的时候就特困扰,没想到现在还是搞不清楚,索性开始查协方差矩阵的资料,恶补之后决定马上记录下来,嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差...
  • 协方差矩阵理解

    2019-10-02 09:59:32
    一、协方差 ...协方差矩阵有什么意义 浅谈协方差矩阵 二、马氏距离 马氏距离的深入理解 马氏距离与其推导 三、Cholesky分解 Cholesky分解法 转载于:https://www.cnblogs.com/Ryan-Leo/p/8006591.html...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,762
精华内容 3,904
关键字:

协方差矩阵的意义