精华内容
下载资源
问答
  • 通俗易懂理解协方差 协方差,可以通俗易懂理解为:两个变量在变化过程中是同方向变化?还是反方向变化?同向或反向程度如何? 你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。 你变大,同时我变...

    通俗易懂理解协方差

    协方差,可以通俗易懂理解为:两个变量在变化过程中是同方向变化?还是反方向变化?同向或反向程度如何?
    你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。

    你变大,同时我变小,说明两个变量是反向变化的,这时协方差就是负的。

    从数值来看,协方差的数值越大,两个变量同向程度也就越大。反之亦然。

    咱们从公式出发来理解一下:
    在这里插入图片描述

    公式简单翻译一下是:如果有x,Y两个变量,每个时刻的"X值与其均值之差"剩以Y值与其均值之差"得到一个乘积,再对这每时刻的乘积求和并求出均值(其实是求"期望" ,但就不引申太多新概念了,简单认为就是求均值了)。

    方差和协方差的定义

    在统计学中,方差是用来度量单个随机变量离散程度,而协方差则一般用来刻画两个随机变量相似程度,其中,方差的计算公式为:
    在这里插入图片描述
    其中,*n* 表示样本量,符号 表示观测样本的均值,这个定义在初中阶段就已经开始接触了。
    在此基础上,协方差的计算公式被定义为:
    在这里插入图片描述
    在这里插入图片描述

    从方差/协方差到协方差矩阵

    在这里插入图片描述
    在这里插入图片描述

    特征值和特征向量

    定义:

    从数学上看,如果向量v与变换A满足

    Av=λv

    则称向量v是变换A的一个特征向量,λ是相应的特征值。这一等式被称作“特征值方程”。
    意思:一个矩阵,左乘一个向量等于一个常数乘这个向量
    满足这个条件,v被称为矩阵A的特征向量,λ是A的特征值
    举例:
    在这里插入图片描述
    所以(111)为A 的特征向量,3为特征值

    特征值和特征向量的作用

    特征值分解可以得到特征值与特征向量,特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么
    特征值分解是将一个矩阵分解成下面的形式:
    在这里插入图片描述
    其中Q是这个矩阵A的特征向量组成的矩阵,Σ是一个对角阵,每一个对角线上的元素就是一个特征值。首先,要明确的是,一个矩阵其实就是一个线性变换,因为一个矩阵乘以一个向量后得到的向量,其实就相当于将这个向量进行了线性变换。

    比如说下面的一个矩阵M:
    在这里插入图片描述
    矩阵M,它其实对应的线性变换是下面的形式:
    在这里插入图片描述
    因为这个矩阵M乘以一个向量(x,y)的结果是:
    在这里插入图片描述
    上面的矩阵是对称的,所以这个变换是一个对x,y轴的方向一个拉伸变换(每一个对角线上的元素将会对一个维度进行拉伸变换,当值>1时,是拉长,当值<1时时缩短)

    当矩阵不是对称的时候,假如说矩阵是下面的样子:
    在这里插入图片描述
    它所描述的变换是下面的样子:
    在这里插入图片描述

    这其实是在平面上对一个轴进行的拉伸变换(如蓝色的箭头所示),在图中,蓝色的箭头是一个最主要的变化方向(变化方向可能有不止一个),如果我们想要描述好一个变换,那我们就描述好这个变换主要的变化方向就好了。反过头来看看之前特征值分解的式子,分解得到的Σ矩阵是一个对角阵,里面的特征值是由大到小排列的,这些特征值所对应的特征向量就是描述这个矩阵变化方向(从主要的变化到次要的变化排列)
    当矩阵是高维的情况下,那么这个矩阵就是高维空间下的一个线性变换,这个线性变化可能没法通过图片来表示,但是可以想象,这个变换也同样有很多的变换方向,我们通过特征值分解得到的前N个特征向量,那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向,就可以近似这个矩阵(变换)。也就是之前说的:提取这个矩阵最重要的特征。总结一下,特征值分解可以得到特征值与特征向量,特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么,可以将每一个特征向量理解为一个线性的子空间,我们可以利用这些线性的子空间干很多的事情。不过,特征值分解也有很多的局限,比如说变换的矩阵必须是方阵。

    //上面的引用部分没看懂,maybe常看常新(后续找视频补充学习)

    参考链接:

    https://www.zhihu.com/question/20852004
    https://zhuanlan.zhihu.com/p/37609917
    https://jingyan.baidu.com/article/3065b3b68c6bb6becff8a488.html

    展开全文
  • 协方差矩阵的特征向量指的是什么

    千次阅读 2020-06-13 13:45:42
    协方差矩阵的特征向量最直观的解释之一是:它总是指向数据方差最大的方向。 更准确地说,第一特征向量是数据方差最大地方向,第二特征向量是与第一特征向量垂直方向上数据方差最大地方向,第三特征向量是与第一和...

    本文转载自:http://www.360doc.com/content/17/0810/21/37752273_678258912.shtml

    对协方差矩阵的特征向量最直观的解释之一是:它总是指向数据方差最大的方向。

    更准确地说,第一特征向量是数据方差最大的方向,第二特征向量是与第一特征向量垂直方向上数据方差最大的方向,第三特征向量是与第一和第二特征向量垂直的方向上数据方差最大的方向,以此类推。

    下图是二维空间的一个例子:
    在这里插入图片描述
    每个数据样本都是可以用坐标x、y表示的二维点。这些数据样本的协方差矩阵的特征向量是u和v。较长的u是第一特征向量,较短的v是第二特征向量。特征值的大小用箭头的长度表示。

    我们可以看到,第一个特征向量(从数据的平均值)指向欧几里德空间中数据方差最大的方向,第二个特征向量跟第一特征向量是垂直的。

    三维空间中的特征向量就比较复杂,如图所示:
    在这里插入图片描述
    我们假设所有的数据点都在椭圆体内。v1是第一特征向量,λ1是其相应的特征值,指向数据方差最大的方向。v2与v1垂直,是这个方向上数据方差最大的特征向量。v3与v1和v2都垂直,是这个方向上数据方差最大的特征向量,虽然只有这一个方向。

    展开全文
  •   在学习PCA降维处理的时候,我发现里面使用到了协方差矩阵以及求解方阵的特征值和特征向量,我想知道协方差矩阵的求解过程,以及验算方阵的特征值和特征向量,因此就使用到了下面的方法。 2、代码 import numpy ...

    1、协方差矩阵

    1、问题描述
      在学习PCA降维处理的时候,我发现里面使用到了协方差矩阵以及求解方阵的特征值和特征向量,我想知道协方差矩阵的求解过程,以及验算方阵的特征值和特征向量,因此就使用到了下面的方法。
    2、代码

    import numpy as np
    
    data1 = np.array([10, 11, 8, 3, 2, 1])
    data2 = np.array([6, 4, 5, 3, 2.8, 1])
    
    # 包含两个维度的数据
    data = [data1, data2]
    # <class 'list'>
    print(type(data))
    # [array([10, 11,  8,  3,  2,  1]), array([6. , 4. , 5. , 3. , 2.8, 1. ])]
    print(data)
    # 协方差矩阵
    # [[18.96666667  6.48666667]
    #  [ 6.48666667  3.12666667]]
    print(np.cov(data))
    
    # 求出每一个数据的均值
    data1_mean = np.mean(data1)
    data2_mean = np.mean(data2)
    # 5.833333333333333
    print(data1_mean)
    3.6333333333333333
    print(data2_mean)
    
    # 使用常规方法计算cov11的协方差
    # 18.96666666666667
    cov_11 = (1 / (len(data1) - 1)) * np.dot((data1 - data1_mean), (data1 - data1_mean))
    print(cov_11)
    

    2、特征值和特征向量

    1、代码

    # 求解矩阵的特征值和特征向量
    data3 = np.diag((1, 2, 3, 4))
    result = np.linalg.eig(data3)
    print(result)
    
    # 结果
    (array([1., 2., 3., 4.]), 
     array([[1., 0., 0., 0.],
           [0., 1., 0., 0.],
           [0., 0., 1., 0.],
           [0., 0., 0., 1.]]))
    

    3、SVD分解

    1、描述
      函数原型如下:

    np.linalg.svd(a,full_matrices=1,compute_uv=1)
    

      a是一个(m,n)的矩阵;full_matrices默认为1,表示左奇异矩阵U形状为(m,m),右奇异矩阵VT的形状为(n,n),如果为0时,U形状为(m,k),VT的形状为(k,n),其中k = min(m,n);compute_uv默认为1,表示计算U,sigma,VT矩阵,反之,只计算sigma。
      下面对4*5矩阵A进行SVD分解,代码如下:

    2、代码

    import numpy as np
    
    # 4 * 5
    a = np.array([[1, 0, 0, 0, 2], [0, 0, 3, 0, 0],
                  [0, 0, 0, 0, 0], [0, 4, 0, 0, 0]])
    U, sigma, VT = np.linalg.svd(a)
    # [[ 0.  0.  1.  0.]
    #  [ 0.  1.  0.  0.]
    #  [ 0.  0.  0. -1.]
    #  [ 1.  0.  0.  0.]]
    print(U)
    # (4,)
    # [4.         3.         2.23606798 0.        ]
    print(sigma)
    # 5 * 5
    # [[-0.          1.          0.          0.          0.        ]
    #  [-0.          0.          1.          0.          0.        ]
    #  [ 0.4472136   0.          0.          0.          0.89442719]
    #  [ 0.          0.          0.          1.          0.        ]
    #  [-0.89442719  0.          0.          0.          0.4472136 ]]
    print(VT)
    
    展开全文
  • 2、对称阵的重要性:协方差矩阵、二次型矩阵等都是对称阵,Am∗nA_{m*n}也可以通过令C=AT∗AC=A^T*A来得到对称阵,此时A的特征向量等于C的特征向量,A的特征值矩阵为C的特征值矩阵的平方根。3、对于n阶实对称阵A,有...

    线性代数的补充:

    1、关于范德蒙德行列式应用:插值法(指对N个数据,得出一个N-1阶的式子。),当阶数小于N-1时,为拟合方法,当阶数为1时,则为回归。

    2、对称阵的重要性:协方差矩阵、二次型矩阵等都是对称阵, Amn 也可以通过令 C=ATA 来得到对称阵,此时A的特征向量等于C的特征向量,A的特征值矩阵为C的特征值矩阵的平方根。

    3、对于n阶实对称阵A,有n个不同的特征值,那么对应的n个特征向量是相互正交的,即 uT1u2=0 (线性无关),且特征向量矩阵 UTU=1 ,又 U1U=1 ,则 UT=U1 .

    推导:假设A对应两个特征向量 u1 , u2 ,那么有 Au1=λ1u1 , Au2=λ2u2

    A(u1,u2)=(λ1u1,λ2u2)

    AU=λU

    U1AU=UTAU=λ

    同理可得, U1λU=UTλU=A

    结论:设A为n阶对称阵,则必有正交阵P,使得 U1AU=UTAU=λ ,

    λ 是以A的n个特征值为对角元的对角阵。

    该变换称为“合同变换”,A和 λ 互为合同矩阵。

    4、SVD 奇异值分解

    奇异值分解是一种重要的矩阵分解方法,可以看做对称方阵在任意矩阵上的推广。

    5、关于特征值的理解

    6、关于协方差的介绍

    7、白化

    xxT=UTDU

    x=UTD0.5Ux

    xxT=1

    8、求A的逆、特征值

    方法:QR分解

    9、矩阵求导


    展开全文
  • 协方差 特征值和特征向量

    千次阅读 2019-02-20 22:58:31
  • 特征值与特征向量&协方差矩阵

    千次阅读 2020-12-25 09:18:55
    一、特征值与特征向量 教程观摩:b站视频 1、定义: 从数学上看,如果向量v与变换A满足Av=λv,则称向量v是变换A的一个特征向量,λ是相应的特征值。这一等式被称作“特征值方程”。 意思:一个矩阵,左乘一个向量...
  • 《PCL点云库学习&VS2010(X64)》Part 43 协方差矩阵的特征向量协方差矩阵的特征向量最直观的解释之一是它总是指向数据方差最大的方向。 更准确地说,第一特征向量是数据方差最大的方向,第二特征向量是与第一...
  • 机器学习基本数学知识-协方差矩阵\特征值\特征向量
  • 计算矩阵A的主成分,根据PCA的原理,就是计算A的协方差矩阵A'A的特征值和特征向量,但是A'A有可能比较大,所以根据A'A的大小,可以计算AA'或者A'A的特征值,原矩阵和其转置矩阵的特征值是一样的,只是特征向量不一样...
  • 协方差矩阵matlab代码实现: % 计算矩阵的协方差矩阵 % 加载数据 dataSet = [-1,1,0;-4,3,0;1,0,2]; %% 方法一:直接调用 dataCov = cov(dataSet); %% 方法二:了解原理,一步步计算 [rows, cols] = ...
  • 参考文章:https://blog.csdn.net/a10767891/article/details/80288463 PCA问题可以理解为一个坐标变换问题 结合文首... 答:X的协方差矩阵的特征向量,组成的矩阵,可作为P。推导过程可以参考文首链接1中的数学推导。
  • 协方差矩阵的特征向量总是指向数据方差最大的方向,准确来说,特征值最大的特征向量是数据方差最大的方向,第二大特征值对应的特征向量指向与第一个特征向量正交的方向上方差最大的方向,以此类推。 参考链
  • 利用协方差矩阵的特征向量来创建局部坐标系
  • 这是 Quora上的一篇文章:... 协方差矩阵最大特征值对应的特征向量的方向,就是数据变化最大的方向。其他特征向量依次正交。 转载于:https://www.cnblogs.com/573177885qq/p/44963...
  • 知乎上有篇文章解释得不能再好了 线性代数中,特征值与特征向量在代数和几何层面的实际意义是什么?
  • 假如你要处理一个数据集, 数据集中的每条记录都是一个dd维列向量. 但是这个dd太大了, 所以你希望把数据维度给降下来, 既可以去除一些冗余信息, 又可以降低处理数据时消耗的计算资源(用computation budget 来描述可能...
  • 坑 好像都是正交的, 所以PCA降维属于正交分解。 如果采用非正交的基,就是ICA降维了。
  • 主要记录对矩阵乘法到底是什么,还有PCA中为什么要用方差为什么要用协方差还有为什么要用特征向量的理解。 因为是写给自己看的所以难免有疏漏和错误,另外参考资料1是我见过最好的PCA文章~ 什么是降维 想象这样一个...
  • 特征值和特征向量可能看起来是很抽象的概念,但它们在你周围的世界中扮演着不可或缺的角色。因为一切都是由数据定义的,矩阵是处理数据的最佳工具,而它们又是矩阵中的瑰宝,可以揭示矩阵的性质。理解特征值和特征...
  • 利用主用户信号与噪声信号协方差矩阵相关性的差异,提出了一种基于特征向量协方差盲检测算法,推导出了所提算法的虚警概率和门限值的闭合表达式。该算法仅需要2个认知节点,不需要任何先验信息,对不确定噪声有很...
  • 突然让我对协方差矩阵、特征值和特征向量的由来,以及为什么会在PCA中用到比较感兴趣(后来发现这些在很多算法中都有用到,比如用于字符识别的MQDF等)。 我看了很多对PCA解释的资料,发现下面这个:...
  • 已知随机变量X的协方差矩阵求去X的特征特征向量 PCA投影矩阵 相关的知识都忘记了,去查的时候没有耐心看别人长篇大论讲解,就只简单记录了一下如果从协方差矩阵来计算特征值和特征向量。 定义:1.特征值...
  • 1.传统统计学中的随机变量(元素无序)的协方差计算公式: 这里我们计算E[XY]时,需要用到随机变量函数的期望:这里假设X,Y为离散随机变量: 2.我们在某些情况下使用的时候...
  • 均值:描述的是样本集合的中间点。 方差:描述的是样本集合的各个样本点到均值的距离之平均,一般是用来描述一维数据的。...协方差: 是一种用来度量两个随机变量关系的统计量。只能处理二维...
  • Opencv小结:Mat用法社会人,人狠话不多,直接上代码做一个笔记:参考博客denny的学习专栏,代码如下:#include &lt;opencv2/opencv.hpp&gt; #include &lt;iostream&gt; ...using namespace cv;...
  • 均值:描述的是样本集合的中间点。...计算协方差需要计算均值。 如下式:   方差与协方差的关系 方差是用来度量单个变量 “ 自身变异”大小的总体参数,方差越大表明该变量的变异越
  • pcl 库依赖 Eigen 第三方库,但是实践表明,Eigen 库的 Eigen::SelfAdjointEigenSolver 求的特征值和特征向量精度并不是很高,所以要换一种方法来求 主要用到了 pcl::eigen33 // pcl #include <pcl/point_types....
  • 求实对称矩阵的特征值及特征向量的雅格比法 //利用雅格比(Jacobi)方法求实对称矩阵的全部特征值及特征向量
  • 协方差矩阵_特征值和特征向量

    万次阅读 2013-08-28 15:13:38
    对于一个样本集合S,如果每个样本是一个n维空间中的一个列向量,则使用协方差矩阵描述样本之间的变化程度, 协方差矩阵的定义式: 其中,Xi和Xj分别表示第i个维度上的样本和第j个维度上的样本。 协方差矩阵C是一个n...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 26,786
精华内容 10,714
关键字:

协方差的特征向量