精华内容
下载资源
问答
  • 2021-08-19 00:07:20

     坑

    好像都是正交的,

    所以PCA降维属于正交分解。

    如果采用非正交的基,就是ICA降维了。 

    更多相关内容
  • 协方差矩阵特征向量指的是什么

    千次阅读 2020-06-13 13:45:42
    协方差矩阵特征向量最直观的解释之一是:它总是指向数据方差最大的方向。 更准确地说,第一特征向量是数据方差最大地方向,第二特征向量是与第一特征向量垂直方向上数据方差最大地方向,第三特征向量是与第一和...

    本文转载自:http://www.360doc.com/content/17/0810/21/37752273_678258912.shtml

    对协方差矩阵的特征向量最直观的解释之一是:它总是指向数据方差最大的方向。

    更准确地说,第一特征向量是数据方差最大的方向,第二特征向量是与第一特征向量垂直方向上数据方差最大的方向,第三特征向量是与第一和第二特征向量垂直的方向上数据方差最大的方向,以此类推。

    下图是二维空间的一个例子:
    在这里插入图片描述
    每个数据样本都是可以用坐标x、y表示的二维点。这些数据样本的协方差矩阵的特征向量是u和v。较长的u是第一特征向量,较短的v是第二特征向量。特征值的大小用箭头的长度表示。

    我们可以看到,第一个特征向量(从数据的平均值)指向欧几里德空间中数据方差最大的方向,第二个特征向量跟第一特征向量是垂直的。

    三维空间中的特征向量就比较复杂,如图所示:
    在这里插入图片描述
    我们假设所有的数据点都在椭圆体内。v1是第一特征向量,λ1是其相应的特征值,指向数据方差最大的方向。v2与v1垂直,是这个方向上数据方差最大的特征向量。v3与v1和v2都垂直,是这个方向上数据方差最大的特征向量,虽然只有这一个方向。

    展开全文
  • PCA问题可以理解一个坐标变换问题 结合文首的链接,我们知道,PCA就是舍去一些样本变化比较小的维度,所以图片中e2方向的信息可以舍去,将二维数据压缩到一维。到这里,不难理解,PCA问题就要新建一个坐标系:...

    参考文章:https://blog.csdn.net/a10767891/article/details/80288463

    1. PCA问题可以理解为一个坐标变换问题
      《learning opencv3》Chapter 7配图
      结合文首的链接,我们知道,PCA就是舍去一些样本变化比较小的维度,所以图片中e2方向的信息可以舍去,将二维数据压缩到一维。到这里,不难理解,PCA问题就要新建一个坐标系:数据分布最离散的方向作第1个轴,然后在垂直(正交)已建立轴的空间里选取使数据最离散的方向作第2个轴…直到n轴建立完成。(n为数据维度)。
    2. 坐标变换用文字描绘出来了,但数学上怎么操作呢?
      阅读如下照片在这里插入图片描述
      原来的样本矩阵X,乘以坐标变换矩阵P后,得到了表示在新坐标系表示的样本矩阵Y。即Y=XP。(对于均一化话的样本,新坐标系其实就是绕着原点旋转,自然而然,坐标变换矩阵P中的向量为正交向量,读者可以通过图片中的例子来自行推导领悟)
      什么样的P,能使Y的坐标系满足1中的条件呢?
      答:X的协方差矩阵的特征向量,组成的矩阵,可作为P。推导过程可以参考文首链接1中的数学推导。
    展开全文
  • 机器学习基本数学知识-协方差矩阵\特征值\特征向量
  • 协方差,可以通俗易懂理解:两个变量在变化过程中是同方向变化?还是反方向变化?同向或反向程度如何? 你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。 你变大,同时我变小,说明两个变量是...

    通俗易懂理解协方差

    协方差,可以通俗易懂理解为:两个变量在变化过程中是同方向变化?还是反方向变化?同向或反向程度如何?
    你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。

    你变大,同时我变小,说明两个变量是反向变化的,这时协方差就是负的。

    从数值来看,协方差的数值越大,两个变量同向程度也就越大。反之亦然。

    咱们从公式出发来理解一下:
    在这里插入图片描述

    公式简单翻译一下是:如果有x,Y两个变量,每个时刻的"X值与其均值之差"剩以Y值与其均值之差"得到一个乘积,再对这每时刻的乘积求和并求出均值(其实是求"期望" ,但就不引申太多新概念了,简单认为就是求均值了)。

    方差和协方差的定义

    在统计学中,方差是用来度量单个随机变量离散程度,而协方差则一般用来刻画两个随机变量相似程度,其中,方差的计算公式为:
    在这里插入图片描述
    其中,*n* 表示样本量,符号 表示观测样本的均值,这个定义在初中阶段就已经开始接触了。
    在此基础上,协方差的计算公式被定义为:
    在这里插入图片描述
    在这里插入图片描述

    从方差/协方差到协方差矩阵

    在这里插入图片描述
    在这里插入图片描述

    特征值和特征向量

    定义:

    从数学上看,如果向量v与变换A满足

    Av=λv

    则称向量v是变换A的一个特征向量,λ是相应的特征值。这一等式被称作“特征值方程”。
    意思:一个矩阵,左乘一个向量等于一个常数乘这个向量
    满足这个条件,v被称为矩阵A的特征向量,λ是A的特征值
    举例:
    在这里插入图片描述
    所以(111)为A 的特征向量,3为特征值

    特征值和特征向量的作用

    特征值分解可以得到特征值与特征向量,特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么
    特征值分解是将一个矩阵分解成下面的形式:
    在这里插入图片描述
    其中Q是这个矩阵A的特征向量组成的矩阵,Σ是一个对角阵,每一个对角线上的元素就是一个特征值。首先,要明确的是,一个矩阵其实就是一个线性变换,因为一个矩阵乘以一个向量后得到的向量,其实就相当于将这个向量进行了线性变换。

    比如说下面的一个矩阵M:
    在这里插入图片描述
    矩阵M,它其实对应的线性变换是下面的形式:
    在这里插入图片描述
    因为这个矩阵M乘以一个向量(x,y)的结果是:
    在这里插入图片描述
    上面的矩阵是对称的,所以这个变换是一个对x,y轴的方向一个拉伸变换(每一个对角线上的元素将会对一个维度进行拉伸变换,当值>1时,是拉长,当值<1时时缩短)

    当矩阵不是对称的时候,假如说矩阵是下面的样子:
    在这里插入图片描述
    它所描述的变换是下面的样子:
    在这里插入图片描述

    这其实是在平面上对一个轴进行的拉伸变换(如蓝色的箭头所示),在图中,蓝色的箭头是一个最主要的变化方向(变化方向可能有不止一个),如果我们想要描述好一个变换,那我们就描述好这个变换主要的变化方向就好了。反过头来看看之前特征值分解的式子,分解得到的Σ矩阵是一个对角阵,里面的特征值是由大到小排列的,这些特征值所对应的特征向量就是描述这个矩阵变化方向(从主要的变化到次要的变化排列)
    当矩阵是高维的情况下,那么这个矩阵就是高维空间下的一个线性变换,这个线性变化可能没法通过图片来表示,但是可以想象,这个变换也同样有很多的变换方向,我们通过特征值分解得到的前N个特征向量,那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向,就可以近似这个矩阵(变换)。也就是之前说的:提取这个矩阵最重要的特征。总结一下,特征值分解可以得到特征值与特征向量,特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么,可以将每一个特征向量理解为一个线性的子空间,我们可以利用这些线性的子空间干很多的事情。不过,特征值分解也有很多的局限,比如说变换的矩阵必须是方阵。

    //上面的引用部分没看懂,maybe常看常新(后续找视频补充学习)

    参考链接:

    https://www.zhihu.com/question/20852004
    https://zhuanlan.zhihu.com/p/37609917
    https://jingyan.baidu.com/article/3065b3b68c6bb6becff8a488.html

    展开全文
  • 通过堆叠对角线上和下方的 x 元素来创建列向量; 每一列都放入一个矩阵中。 它按列顺序执行此操作。 创建是因为我无法让 Mike Cliff 的 vech 函数处理多维数组。
  • 特征值与特征向量&协方差矩阵

    千次阅读 2020-12-25 09:18:55
    所以(111)A 的特征向量,3为特征值 二、协方差矩阵 观摩视频:协方差矩阵 1、针对一维样本求的协方差就是方差,方差是协方差的一种特殊情况,意义与方差相同,都是反映集合中各个元素的离散程度 2、针
  • 理解特征值和特征向量什么,如何推导它们,以及它们的应用,对于欣赏矩阵之美,以及更广泛地理解数据和数学在世界中扮演的角色,都是不可或缺的。首先,让我们考虑二维向量,它有两个元素,每个元素对应于二维平面...
  • 协方差矩阵matlab代码实现: % 计算矩阵的协方差矩阵 % 加载数据 dataSet = [-1,1,0;-4,3,0;1,0,2]; %% 方法一:直接调用 dataCov = cov(dataSet); %% 方法二:了解原理,一步步计算 [rows, cols] = ...
  • 2.PCA为什么要用协方差矩阵以及协方差矩阵特征特征向量降维 既然是降维,就要考虑降低哪些维度以及保存哪些维度,一个简单的想法是: 保留重要的,这样可以更好的保留原始数据的信息,以防信息缺失 所以怎样...
  • 协方差矩阵相关概念、性质、应用意义及矩阵特征向量的用处
  • 协方差矩阵向量表示推导

    万次阅读 2017-09-19 15:50:10
    多维随机变量的协方差矩阵 对多维随机变量X=[X1,X2,…,Xn]TX=[X_1,X_2,\dots,X_n]^T,我们往往需要计算各维度之间的协方差,这样协方差就组成了一个n×nn\times n的矩阵,称为协方差矩阵协方差矩阵是一个对角矩阵...
  •   在学习PCA降维处理的时候,我发现里面使用到了协方差矩阵以及求解方阵的特征值和特征向量,我想知道协方差矩阵的求解过程,以及验算方阵的特征值和特征向量,因此就使用到了下面的方法。 2、代码 import numpy ...
  • 主要记录对矩阵乘法到底是什么,还有PCA中为什么要用方差为什么要用协方差还有为什么要用特征向量的理解。 因为是写给自己看的所以难免有疏漏和错误,另外参考资料1是我见过最好的PCA文章~ 什么是降维 想象这样一个...
  • 考虑:协方差矩阵特征向量指的是什么协方差矩阵特征向量总是指向数据方差最大的方向,准确来说,特征值最大的特征向量是数据方差最大的方向,第二大特征值对应的特征向量指向与第一个特征向量正交的方向上方...
  • Obvious,最小特征值对应的特征向量为平面的法向这个问题还有个关键是通过python求协方差矩阵特征值和特征向量,np.linalg.eig()方法直接返回了特征值的向量和特征向量的矩阵scipy.linalg.eigh()方法可以对返回的...
  • 假如你要处理一个数据集, 数据集中的每条记录都是一个dd维列向量. 但是这个dd太大了, 所以你希望把数据维度给降下来, 既可以去除一些冗余信息, 又可以降低处理数据时消耗的计算资源(用computation budget 来描述可能...
  • 计算矩阵A的主成分,根据PCA的原理,就是计算A的协方差矩阵A'A的特征值和特征向量,但是A'A有可能比较大,所以根据A'A的大小,可以计算AA'或者A'A的特征值,原矩阵和其转置矩阵的特征值是一样的,只是特征向量不一样...
  • 《PCL点云库学习&VS2010(X64)》Part 43 协方差矩阵特征向量协方差矩阵特征向量最直观的解释之一是它总是指向数据方差最大的方向。 更准确地说,第一特征向量是数据方差最大的方向,第二特征向量是与第一...
  • WEIGHTEDCOV 返回加权协方差的对称矩阵 C,该矩阵根据输入 T×N 矩阵 Y 计算,该矩阵 Y 的行是观察值,列是变量,以及输入 T×1 的观察值权重向量 w。 如果观察结果并非完全相同并且需要根据某些理论假设或知识进行...
  • 已知随机变量X的协方差矩阵求去X的特征特征向量 PCA投影矩阵 相关的知识都忘记了,去查的时候没有耐心看别人长篇大论讲解,就只简单记录了一下如果从协方差矩阵来计算特征值和特征向量。 定义:1.特征值...
  • 利用协方差矩阵特征向量来创建局部坐标系
  • 求实对称矩阵特征值及特征向量的雅格比法 //利用雅格比(Jacobi)方法求实对称矩阵的全部特征值及特征向量
  • 在数列、微分方程、矩阵三个不同的领域中都见到了“特征值”这个名字,难道仅仅是因为他们都刻画了问题的特征吗?当时我想,一定不是的。或许这些特征值是同一个特征值。因为本人水平较低,这个...
  • 协方差矩阵特征向量的意义

    千次阅读 2015-05-12 08:11:00
    这是 Quora上的一篇文章:... 协方差矩阵最大特征值对应的特征向量的方向,就是数据变化最大的方向。其他特征向量依次正交。 转载于:https://www.cnblogs.com/573177885qq/p/44963...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 27,889
精华内容 11,155
关键字:

为什么协方差矩阵的特征向量