精华内容
下载资源
问答
  • 【特征向量】——从线性代数角度看分解与合成
    2020-04-25 11:29:10

    概念

    本文是在读了黎文科老师神奇的矩阵后,做的一些笔记以及对分解和合成的一点思考,如有问题,欢迎交流。
    这里附上一些线性代数中的数学概念。

    • 矩阵:描述运动,本质是在一组基描述下的向量(对象)的线性变换 { e 1 , e 2 , . . . , e n } \{e_1,e_2,...,e_n\} {e1,e2,...,en}
    • 线性无关基:完备性(数量足够)+线性独立(不能相互表示),可表示任意一个向量
    • 正交归一基:基之间相互正交,模为1
    • 特征向量:对于一个矩阵(线性变换),特征向量(对象)变换之后方向不变
      A x = λ x A\pmb{x}=\lambda \pmb{x} Axxx=λxxx
    • 向量:可以理解为一组基下的坐标 ( c 1 , c 2 , . . . , c n ) (c_1,c_2,...,c_n) (c1,c2,...,cn)
      φ = c 1 e 1 + c 2 e 2 + . . . + c n e n \pmb{\varphi}=c_1\pmb{e_1}+c_2\pmb{e_2}+...+c_n\pmb{e_n} φφφ=c1e1e1e1+c2e2e2e2+...+cnenenen

    特征向量与特征值

    特征向量的引入是为了选取一组很好的基。

    1. 分解向量(本质是以特征向量为基,进行坐标变换)
       我们知道,对于一个线性变换,只要选定一组基,就可以用一个矩阵 T 1 T_1 T1来描述这个线性变换。换一组基,就得到另一个不同的矩阵 T 2 T_2 T2。如果我们选取特征向量做基的话,空间任意一个向量可用特征向量来表示:
      φ = c 1 p 1 + c 2 p 2 + . . . + c n p n \pmb{\varphi}=c_1\pmb{p_1}+c_2\pmb{p_2}+...+c_n\pmb{p_n} φφφ=c1p1p1p1+c2p2p2p2+...+cnpnpnpn
       由于线性变换不改变特征向量的方向,故在对向量做线性变换时,形式简单:
      A φ = A ( c 1 p 1 + c 2 p 2 + . . . + c n p n ) = c 1 λ 1 p 1 + c 2 λ 2 p 2 + . . . + c n λ n p n A\pmb{\varphi}=A(c_1\pmb{p_1}+c_2\pmb{p_2}+...+c_n\pmb{p_n})=c_1\lambda_1\pmb{p_1}+c_2\lambda_2\pmb{p_2}+...+c_n\lambda_n\pmb{p_n} Aφφφ=A(c1p1p1p1+c2p2p2p2+...+cnpnpnpn)=c1λ1p1p1p1+c2λ2p2p2p2+...+cnλnpnpnpn
       综上,我们可以看出,如果一个矩阵(线性变换)存在n个特征向量,那么将它们作为正交基对向量进行分解,比直接进行线性变换大大简化地了运算。
    2. 分解矩阵
       在对矩阵进行对角化后,可以写成如下的形式:
      A = P [ λ 1 0 ⋯ 0 0 λ 2 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ λ n ] P T , P = { p 1 , p 2 , . . . , p n } A=P \left[ \begin{matrix} \lambda_1 & 0 & \cdots & 0 \\ 0 &\lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \\ \end{matrix} \right]P^{T},P=\{\pmb{p_1},\pmb{p_2},...,\pmb{p_n}\} A=Pλ1000λ2000λnPT,P={p1p1p1,p2p2p2,...,pnpnpn}
       进一步展开:
      A = λ 1 P 1 + . . . + λ n P n , P n = p n p n T A= \lambda_1 P_1+...+\lambda_nP_n,P_n=\pmb{p_n}\pmb{p_n}^{T} A=λ1P1+...+λnPn,Pn=pnpnpnpnpnpnT
       这里的目的是对线性变换进行展开,叫做谱分解,主成分分析里有这东西。

    从特征向量看信号与系统

    众所周知,信号与系统讨论的系统是线性时不变系统,而线性时不变系统的特征向量就是e指数函数,所以我们选取特征向量(e指数函数)为基,对时域信号进行分解(即获取它在特征向量基底下的坐标),这就是傅里叶分析。线性时不变系统的特征向量就是e指数函数也是我们采用傅里叶分析的原因,所谓的频域空间就是e指数函数空间。
     下面我们证明一下线性时不变系统的特征向量就是e指数函数, T T T代表系统的作用:
    T [ e j ω t ] = g ( t ) T[e^{j\omega t}]=g(t) T[ejωt]=g(t) g ( t ) = ∫ e j ω τ h ( t − τ ) d τ g(t)=\int e^{j\omega \tau}h(t-\tau){\rm d\tau} g(t)=ejωτh(tτ)dτ g ( t ) = e j ω t ∫ e − j ω x h ( x ) d x g(t)=e^{j\omega t}\int e^{-j\omega x}h(x){\rm dx} g(t)=ejωtejωxh(x)dx g ( t ) = H ( ω ) e j ω t g(t)=H(\omega)e^{j\omega t} g(t)=H(ω)ejωt T [ e j ω t ] = H ( ω ) e j ω t T[e^{j\omega t}]=H(\omega)e^{j\omega t} T[ejωt]=H(ω)ejωt
     可以发现,e指数函数经过线性时不变系统系统的作用后方向不变,即为系统的特征向量。
     回到上面的分解向量,两者的本质思想是一样的,唯一的差别在于维度上。所以说,信号中线性-分解-合成时选取傅里叶变换和拉普拉斯变换是有道理的。

    拓展

    1. 我们可以发现,线性微分方程的特征向量也是e指数函数,这也是我们取其为基,表示解的原因。
    2. 用特征函数解的方程是最简洁的,否则,如果用级数的方式解方程,会发现方程的解有无穷多项。在解贝塞尔方程时,我们没有找到特征函数,于是退而求其次才选择级数求解,至少级数具有完备性。
    3. 数学中的分解方法有很多,各类的积分变换都对应着一个函数空间,具体要看我们想选取哪一组基去刻画对象,然后得到对象在目标基底下的坐标。
      在这里插入图片描述

    对于泰勒展开,我们选取了多项式为基,由多项式构成的空间就叫多项式空间。对傅里叶变换,我们选取了三角函数为基,由三角函数构成的空间就叫做频率空间。

    Reference:
    1.神奇的矩阵第二季.黎文科

    更多相关内容
  • 提出一种基于二维经验模态分解(BEMD)的合成孔径雷达(SAR)目标识别方法。BEMD可以从原始SAR图像提取多层次的二维固态模函数(BIMF),它们可以更好地描述目标的细节信息,因此联合原始SAR图像及其多层次BIMF,可以为后续的...
  • 利用NASA/JPL实验室AIRSAR系统获取的全极化SAR数据进行实验处理, Wishart监督分类进行对比, 验证了将目标分解信息用做分类特征的有效性, 同时Wishart/H/α和模糊C-均值H/α分类方法进行对比, 得到提出的方法具有...
  •  说明:将两个向量 v1, v2 相加,用 VOut 返回计算结果,常运用于两个力的合成  用法:D3DXVec3Add vOut, v1, v2  参数:VOutAs D3DVECTOR 返回计算结果的向量  v1,v2 As D3DVECTOR 参加计算的向量  例子...

    D3DXVec3Add   向量相加
     说明:将两个向量 v1, v2 相加,用 VOut 返回计算结果,常运用于两个力的合成
     用法:D3DXVec3Add vOut, v1, v2
     参数:VOutAs D3DVECTOR  返回计算结果的向量
        v1,v2 As D3DVECTOR 参加计算的向量
     例子:
       Dim vOut As D3DVECTOR, v1 As D3DVECTOR, v2 As D3DVECTOR
       v1.x = 0.1: v1.y = 0.2: v1.z = 0.3
       v2.x = 1:   v2.y = 2:   v2.z = 3
       D3DXVec3Add vOut, v1, v2
       MsgBox "向量相加:" & vOut.x & ", " & vOut.y & ", " & vOut.z '得到:1.1, 2.2, 3.3


     几何意义:

        U + V = (x1+x2, y1+y2, z1+z2)向量相加在几何意义上遵循平行四边形法则。

     

     

     

    D3DXVec3Subtract  向量相减
     说明:两个向量相减,常用于计算力的分解
     用法:D3DXVec3Subtract VOut, v1, v2
     参数:VOut As D3DVECTOR  返回计算结果的向量
        v1,v2 As D3DVECTOR 欲进行减法运算的两个的向量
     几何意义:F =U - V = U + (-V) = (x1-x2, y1-y2, z1-z2)在几何意义上也遵循平行四边形法则。
     也就是说,力 U 可以分解为 V 和 F
     

     例子:
       Dim vOut As D3DVECTOR, v1 As D3DVECTOR, v2 As D3DVECTOR
       v1.x = 0.1: v1.y = 0.2: v1.z = 0.3
       v2.x = 1:   v2.y = 2:   v2.z = 0.1
       D3DXVec3Subtract vOut, v1, v2
       MsgBox "向量相减:" & vOut.x & ", " & vOut.y & ", " & vOut.z '得到:-0.1, -1.8, 0.2

    展开全文
  • 矢量的一些基本知识,对矢量学习有用的。其中是一些矢量的合成分解以及向量的数乘叉乘的基本知识
  • 向量 1.1 实向量和复向量的对比 1.2 复数平面 1.3 复向量的极坐标形式 在离散傅里叶变换中使用 w=e2πi/nw=e^{2\pi i/n}w=e2πi/n w=e2πi/nw2=e4πi/nw4=e8πi/n⋮wn=e2πi w=e^{2\pi i/n}\\ w^2=e^{4...

    复向量

    1.1 实向量和复向量的对比

    1.2 复数平面

    1.3 复向量的极坐标形式







    在离散傅里叶变换中使用 w = e 2 π i / n w=e^{2\pi i/n} w=e2πi/n

    w = e 2 π i / n w 2 = e 4 π i / n w 4 = e 8 π i / n ⋮ w n = e 2 π i w=e^{2\pi i/n}\\ w^2=e^{4\pi i/n}\\ w^4=e^{8\pi i/n}\\ \vdots\\ w^n=e^{2\pi i} w=e2πi/nw2=e4πi/nw4=e8πi/nwn=e2πi

    展开全文
  • 向量在网络上已经有了大量的文章,但是,出于我们专栏的完整性系统性的考虑,笔者还是决定加上这样一个专题。计划用3-4次,彻底说清楚在自然语言处理中,词向量的由来,本质和训练。公众号专栏主要讲基本原理,...

    词嵌入是所有自然语言处理任务所必须要经历的步骤,非常的重要。词向量在网络上已经有了大量的文章,但是,出于我们专栏的完整性系统性的考虑,笔者还是决定加上这样一个专题。

    计划用3-4次,彻底说清楚在自然语言处理中,词向量的由来,本质和训练。公众号专栏主要讲基本原理,知识星球讲实际的操作。

    本篇主要讲述词向量的由来及本质。

    作者 | 小Dream哥

    编辑 | 言有三

    1 词的向量化

    首先,我们提出这样一个问题,

    一个文本,经过分词之后,送入某一个自然语言处理模型之前该如何表示?

    例如,“

    人/如果/没用/梦想/,/跟/咸鱼/还有/什么/差别”,向机器学习模型直接输入字符串显然是不明智的,不便于模型进行计算和文本之间的比较。那么,我们需要一种方式来表示一个文本,这种文本表示方式要能够便于进行文本之间的比较,计算等。最容易想到的,就是对文本进行向量化的表示。例如,根据语料库的分词结果,建立一个词典,每个词用一个向量来表示,这样就可以将文本向量化了。

    最早的文本向量化方法是词袋模型,我们先来看看词袋模型。

    2 词袋模型

    要讲词向量,我们首先不得不说的就是词袋模型。词袋模型是把文本看成是由一袋一袋的词构成的。例如,有这样两个文本:

    1) “人/如果/没有/梦想/,/跟/咸鱼/还有/什么/差别”

    2) “人生/短短/几十/年/,差别/不大/,/开心/最/重要”

    这两个文本,可以构成这样一个词典:

    {“人”,“如果”,“没有”, “梦想”, “,”,“跟”, “咸鱼” , “还有”,“什么”, “差别”, “人生”, “短短”, “几十”,“年”, “不大”, “开心”, “最”, “重要”}

    字典的长度为18,每个词对应有一个index,所以词“人”可以用一个18维的向量表示表示:

    {1,0,0,0,····,0}

    词“重要”可以用一个18维的向量表示表示:

    {0,0,0,0,····,1},

    那么,文本该怎么表示呢?词袋模型把文本当成一个由词组成的袋子,记录句子中包含各个词的个数:

    文本1:

    {1,1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,0, 0}

    文本2:

    {0,0,0,0,2,0,0,0,0,1,1,1,1,1,1,1,1,1}

    我们大概总结一下,

    词袋模型把文本看成是一个装着词的袋子,以文本2为例,用词袋模型可以这样描述它。文本2里有0个“人”,2个“,”, 1个“差别” 等等。所以词袋模型有以下特点:

    1) 文本向量化之后的维度与词典的大小相关;

    2) 词袋模型没有考虑词语之间的顺序关系。

    这只是两个句子,所以词典的大小是18。当语料库很大时,词典的大小可以是几千甚至几万,这样大维度的向量,计算机很难去计算。

    而且就算是只有一个词的句子,它的维度仍然是几千维,存在很大的浪费。

    此外,词袋模型忽略了词序信息,对语义理解来讲是一个极大的信息浪费。最后,词袋模型会造成语义鸿沟现象,即两个表达意思很接近的文本,可能其文本向量差距很大。

    所以,词袋模型并不是一个好的解决方案。接下来,词向量就“粉墨登场”了。

    3 词向量

    相比于词袋模型,词向量是一种更为有效的表征方式。怎么理解呢?词向量其实就是用一个一定维度(例如128,256维)的向量来表示词典里的词。

    经过训练之后的词向量,能够表征词语之间的关系。例如,“香蕉”和“苹果”之间的距离,会比“香蕉”和“茄子”之间的距离要近。

    通过多维向量表示,也能更为方便的进行计算。例如,“女人”+“漂亮” =“女神”。

    那么,该如何获取词向量呢?我们先来看看神经概率语言模型。

    4 神经概率语言模型

    一个语言模型通常构建为一句话的概率分布p(W),这里的p(W)实际上反映的是W作为一个句子出现的概率。 说成大白话,

    语言模型就是计算某个句子出现的概率。

    对于一个由T个词按顺序构成的句子,P(W)实际上求解的是字符串的联合概率,利用贝叶斯公式,链式分解如下:

    从上面可以看到,一个统计语言模型可以表示成,给定前面的的词,求后面一个词出现的条件概率。

    我们在求P(W)时实际上就已经建立了一个模型,这里的诸多条件概率就是模型的参数。如果能够通过语料,将这些参数已学习到,就能够计算出一个句子出现的概率。

    那么该如何学习这些条件概率呢?Yoshua Bengio在2003年《A Neural Probabilistic Language Model》一文中提出了一种神经网络的方法,用于语言模型的计算。

    如上图所示,是一个简单的神经网络。首先,将输入语料进行分词,并向量化(随机初始化成为一个N维的向量),然后将他们拼接起来,用如下的公式表示:

    随后,将上述的拼接结果分别经过一个激活函数和线性连接,并将二者的结果直接相加。此时,y的维度是(|V|, 1),|V|表示语料词表的大小。

    最后,接一个softmax函数,预测出下一个词是目标词的概率。

    训练时,会设计损失函数,用梯度下降的方法,优化参数。

    在训练过程中,我们优化了如下的参数:

    其中C为我们之前随机初始化的向量,但是在训练过程中,得到了不断的优化。

    因此,在神经网络训练完成之后,我们不但得到了一个能够预测句子出现概率的模型,也得到了一份

    词向量,它能够表示词语之间的关系。

    5 总结

    上面详细介绍了词向量的来历和作用,并介绍了一种词向量的训练方法。

    在实际过程中,并不是用上述神经网络来训练词向量的因为词向量是如此的重要,NLP工作者们设计了专门的网络来训练词向量。目前用的最多的有word2vec和GLove。这里出于篇幅,先不介绍,后面的文章来介绍。

    词向量是NLP开始迈进“现代化”的关键,是各种面试必问的基础,需重视。

    展开全文
  • 从而,特征值特征向量的定义式就是这样的: 其实之前的A不止一个特征向量,还有一个特征向量: 容易从 Av⃗A\vec{v_{}}Av​ ​相对于 v⃗\vec{v_{}}v​ ​是变长了还是缩短看出,这两个特征向量对应的特征 λ\...
  • 此时风速可以做简单的遍历循环平均处理,但是需要注意的是风向不能直接做平均处理,例如0360度都是北风,平均之后则成了南风,这就需要运用到大气探测学的方法,如图,我们可以将风向分解为UV方向的矢量 ...
  • 2.2.1 向量的建立及拆分 1.向量的创建 (1)直接输入。 行向量:a=[1,2,3,4,5] 列向量:a=[1;2;3;4;5] ps:二者的区别,两者构造的向量是不一样的,它们的表现形式也是不一样的。 (2)用“:”生成向量。 1> a=J...
  • 15 ttsbox1.1语音合成工具箱 16 分数阶傅里叶变换的程序FRFT 17 魔方模拟器规划求解 18 隐马尔可夫模型工具箱 HMM 19 图理论工具箱GrTheory 20 自由曲线拟合工具箱ezyfit 21 分形维数计算工具箱FracLab 2.2 22 For...
  • 特征分解和奇异值分解

    千次阅读 2018-05-05 19:18:49
    这篇文章的主要内容包括:1、什么是特征分解2、什么是奇异值分解3、如何求解特征值和特征向量4、特征值和特征向量有什么意义一、特征分解特征分解(eigendecomposition):是使用最广的矩阵分解之一,通过特征分解可以...
  • 1、视频分解为图片 2、图片合并为视频 3、基于Haar + Adaboost人脸识别 这是我在网上找的两个视频,我把它下载到本地,作为学习使用: 小屁猪视频1链接:https://www.ixigua.com/i6788075908059103744 小屁猪视频2...
  • 学习向量感受

    热门讨论 2020-11-15 20:48:11
    为了提高我们的思维能力认知,米老师特别让我们学习数学必修四的向量这一章节。 首先我先谈谈我自己的感悟吧,以前我学习向量,只是为了做数学题,来面对考试,几乎就是老师讲什么我就听什么,根本就没有自己的...
  • svd函数返回三个分解部分u,s,vh,由于s是一个对角矩阵,因此s是一个一维数组,保存对角线上的非零值s中的每个值vh的行向量以及u中的列向量对应,默认按照从大到小的顺序排列,他表示与其对应向量的重要性奇异值...
  • 该楼层疑似违规已被系统折叠隐藏此楼查看此楼使用小波包进行分解和重构为了克服小波分解在高频段的频率分辨率较差,而在低频段的时间分辨率较差的缺点,人们在小波分解的基础上提出了小波包分解。小波包分解提高了...
  • 论机器学习支持向量机结课论文

    千次阅读 2020-11-12 09:08:31
    论机器学习支持向量机 摘要:机器学习是研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是人工智能的核心,是使计算机具有智能的根本途径。...
  • 【张量分解(二)】CP分解

    千次阅读 多人点赞 2020-03-30 16:55:12
    一、CP分解 1.1 定义 CP分解就是将一个张量分解成多个单秩张量的和。例如,给定一个三阶张量X∈RI×J×K\mathcal{X}\in\mathbb{R}^{I\times J\times K}X∈RI×J×K,则CP分解可以写为 X≈∑r=1Rar∘br∘cr\mathcal{X...
  • 向量

    2020-09-18 17:09:35
    亚里士多德就知道力可以分解向量,伽利略更是清晰的阐述了向量如何合成。下面来看看在物理中是如何定义向量的。 1 物理中的向量 1.1 有向线段 高中物理就学过,是有长度、有方向的有向线段,可以用来表示力、...
  • 梯度向量与梯度下降法

    万次阅读 多人点赞 2017-10-27 15:37:16
    要掌握“梯度下降法”,就需要先搞清楚什么是“梯度”,本文将从这些基本概念:方向导数(directional derivative)偏导数、梯度(gradient)、梯度向量(gradient vector)等出发,带您领略
  • 向量仅仅是向量吗?

    热门讨论 2020-11-15 19:45:05
    提到数学中的向量大家肯定都不会陌生的,但是高中毕业之后留在你大脑里的向量还有多少呢?对于一般人来说,可能留下的并不多,作为大学已经毕业的我来说,向量如果不重新看课本的话,脑子里的东西真的是所剩无几,我...
  • 平面向量

    热门讨论 2020-11-15 20:37:01
    经过一周的平面向量的学习,让我对平面向量有了新的认识。 向量的出现可以方便我们的计算三角函数,开创了研究几何的问题的新方法。通过演绎推理 ,建立几何 关系,因此,他给出的几何论证严禁且优雅,给人极大的...
  • 15 ttsbox1.1语音合成工具箱 16 分数阶傅里叶变换的程序FRFT 17 魔方模拟器规划求解 18 隐马尔可夫模型工具箱 HMM 19 图理论工具箱GrTheory 20 自由曲线拟合工具箱ezyfit 21 分形维数计算工具箱FracLab 2.2 22 For...
  • 【点云学习】PCA算法实现向量估计

    千次阅读 热门讨论 2020-05-03 09:39:22
    最近报了个点云学习的网课,前...类似于拟合成曲面,然后进行PCA找到特征向量最小的值,作为法向量 w, v = PCA(k_nearest_point) normals.append(v[:, 2]) 法线向量显示:在显示窗口按n 可按 + - 更改点的大小(o3d)
  • (LASC),一阶特征编码样式相比,所提出的网络可以通过外部产品自动学习高阶编码特征。 随后,为了使特征表示更加强大,将其梯度通过奇异值分解(SVD)和元素逐项归一化的矩阵归一化(平方根)引入了所提出的...
  • 负矩阵分解算法 Fisher 线性判别方法的合成孔径雷达图像目标识别的方法 ,通过基于基向量非负加权组合的形式 构建 SAR 目标图像 ,能充分利用目标的局部空间结构信息提取目标特征信息实现目标识别. 首先将水平集分割...
  • 矩阵的特征值和特征向量

    千次阅读 2021-03-27 14:47:19
    矩阵的特征值和特征向量特征值的理解特征值 、特征向量、方阵的关系几何意义物理意义特征分解特征值和特征向量的含义的应用补充一点 特征值的理解 其实刚上大学的时候上的线性代数课上,也只是简单讲解了特征值和...
  • t 为采样向量矩阵,例如采样率为Fs 每帧音频时间为T,则t为0:1Fs:T的向量矩阵。 我们可以用matlab解析出声音信号的幅值 频率 相位角信息,再带入公式还原声音,也可以将数据存储,还原时根据需求添加改变部分数据...
  • 向量计算 图形现实 序分量分解,合成,直观易用
  • 合成信号的类型 虚拟总线 非虚拟总线 串联信号 复路信号 合成信号的类型 为了降低模型中的外观复杂度,可以将信号合并为合成信号。合成信号包含的信号称为元素。元素保留它们各自的身份,这可以从合成信号中...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,568
精华内容 3,027
关键字:

向量的合成与分解