精华内容
下载资源
问答
  • 使用傅立叶基函数逼近器实现 True Online TD(lambda)。 [1][2] 参考 [1] Seijen、Harm V. 和 Rich Sutton。 “真正的在线 TD (lambda)。” 第 31 届机器学习国际会议 (ICML-14) 的论文集。 2014 年。 [2] 科尼...
  • N x N图像的第( k,l )个傅里叶基函数:x方向的周期: k/N;y方向的周期:l/N

    N x N图像的第( k,l  )个傅里叶基函数:x方向的周期: k/N;y方向的周期l/N

    
    % 用图像绘制:
    figure(1);
    M = 16;%图片的宽度
    N = 16;%图片的高度
    A = zeros(M,N);
    
    for k = 0:M/2
        for l = 0:N/2
                for x = 1:M
                    for y = 1:N
                      subplot(M/2+1,N/2+1,(k*(N/2+1)+l+1)); %画子图
                      A(x,y) = cos(2*pi*k*x/M + 2*pi*l*y/N) + sin(2*pi*k*x/M + 2*pi*l*y/N);%求第(k,l)个傅里叶基函数在(x,y)处的值。为可视化虚部也看做实数
                    end
                end
                fprintf('%d',k)
                fprintf('%d\n',l)
                colormap('Cool');%选择色调,这里为Cool
                imagesc(A); % 由A(x,y)的值确定颜色
                %set(gca,'xaxislocation','top');  % 把x轴换到上方
                set(gca,'ydir','reverse');       % 把y轴刻度倒置
                title( {['B(', num2str(k), ',',num2str(l),')']})
        end
    end
    
    
    
    
    
    
    
    

    展开全文
  • 这是一组代码,适用于经典阻尼谐波振荡器 (CDHO)、Voigt、傅立叶级数和三角基函数的介电常数。 详见:介电常数的光谱曲线拟合,AIP Advances 7, 015042 (2017); 这些代码可用于从在有限光谱范围内测量的吸收/反射...
  • 不做深究,但现在的问题来了,为什么我们要选择复指数信号作为基(傅立叶基),而不是其他的信号,其实在不同情况下,我们也是有依据其他的基所做的变换的,比如哈达玛变换,小波变换,这些基是不是比不上傅立叶基,...

    61ee2691c9e85f7eb403888d4726758f.png

    距离上一次发稿已经过去了快三个月,创作欲有些旺盛,虽然最近很忙,但还是想写点东西,因为近来重新仔细研读了奥本海姆的那本圣经级别的绿皮书《信号与系统》,深有感触,我在之前学习中的更多困惑也得到了解决,因此想分享给读者,同时也强烈推荐此书及MIT的奥本海姆相关公开课程给EE相关专业的朋友,不管是初学信号与系统还是已经学过这门课的同学,都非常值得细细品味

    在我大一还是大二(具体不记得了)学习这门课时,有一个很大的疑惑困扰着我,我们为什么要对一个信号做傅立叶展开呢?诚然,书上的很多例题告诉我们傅立叶变换让解题或者实际问题变得简单,但是并没有哪本书清楚的说明傅立叶展开的意义所在,而我仔细审视这个困惑的根源,可以分为两个部分,首先,为什么要对信号进行展开?其次,为什么一定是用复指数正交基展开?这个问题问扰了我很长一段时间,因为这两年做的最多还是数字信号处理相关的工程和项目,所以这个可以算是一个核心症结,而我接下来文章会对这两个困惑逐一进行解释,至少它现在已经能够让我非常安心和舒服的使用傅立叶变换了,希望也能给和我有同样困惑的朋友一点启发。(由于想保证我自己的连贯的创作体验,在接下来的论述中我不会加入任何公式和图形帮助理解,纯粹的语言文字描述,这可能对我是友好的,但对读者并不友好,但我想如果可以通篇读下来的读者一定会两眼发光,心旷神怡)

    整个信号与系统的框架建立中,我们大多数时间研究的系统默认都是线性时不变的(而在现实生活中常常还是因果的),为什么这么默认?因为物理过程大多具有线性和时不变性,同时,线性时不变系统的数学描述上具有共性,比如不同的系统可用同一微分方程或者差分方程来表示,因此我们易于建立一套方法论去分析这类系统,同时也更容易让学生来学习,这里就像我们研究回归问题时,通常学的都是线性拟合,比如最小二乘法,为什么,不是它在任何情况下都好,也不是非线性比不上线性,而是非线性相对于线性而言太复杂了,没有这么好解释,也不易建立方法论,就像现在的deep-learning,每一层输出都会经过一个激活函数,来对结果进行非线性变换,这在经过多层之后,整个模型就变成了一个黑匣子,只有机器知道自己在做些什么,而人类却很难去解释,对于这样的问题和系统,人类想去研究起来就格外的费劲

    而线性时不变系统又具有非常多很好的特性,比如说叠加性质,这里就要说到信号展开的问题了,为什么要展开?如果将线性时不变系统的输入用一组基本信号的线性组合来表示,可由系统对这些基本信号的响应,利用叠加性质得到整个系统的输出。因此,照这个思路继续下去,我们可以找到一种求系统输出的更简单的方法,而不需要每次都对于不同的x(t)去解微分方程的y(t)

    首先以离散时间信号为例,我们可以将一个时间序列表示成一串移位单位脉冲序列的线性组成,而系统对每一个移位脉冲都有一个输出,也就是响应,各个移位脉冲序列的区别仅在于在一个脉冲中加入了不同的时移,因此这里如果把系统变成时不变系统,根据时不变性,那么其对应的输出也就是某一脉冲序列的响应加入一与之对应的时移,因此我们可以确定一个单位冲激响应,而其他脉冲序列的响应仅是在其上添加一个时移,这样我们可以巧妙而简洁的将一个线性时不变系统的输出表示成输入序列与其单位冲激响应的卷积和的形式,故这里可以说是因为线性时不变系统特有的叠加性质和时不变性,才导致了卷积这么一个经典而又简洁的表达形式,同时,换句话说,当已知一个线性时不变系统的单位冲激响应时,你也就知道了这个系统的全部特性

    这里略作小结,我们已经看到了线性时不变系统的好,它让我们之前繁琐的求输出的过程变成了在已知单位冲激响应时求卷积的过程,而且因为卷积的形式就是一个循环移位求和,这个过程完全可以交给计算机去做,丝毫不需要花费太大的力气,而这里可以有人要问了,单位冲激响应怎么得到,把一个狄拉克函数丢到系统里作为输入,看系统的输出不就知道了吗?而以上过程的推导都是基于我们先将一个时间序列表示成一串移位单位脉冲序列的线性组成才得到的,所以这里我们也可以粗略感受到展开的妙处了,接下来我们来看看傅立叶同学做的事情(当然并不完全是他干的,或者说他只是提供最初思想的那个人)

    现在,我们不用移位脉冲信号,我们想要将信号表示成另一组基本信号的线性组合,而这里我们要遵循几个原则来让我们之后的分析变得简单,首先,这组基本信号要能够构成一类相当广泛的有用信号,也许不能表示所有信号,但至少在大多数情况下得够用,然后呢,在线性时不变系统中,对每一个基本信号的响应最好也要十分的简单

    我们知道在傅立叶分析中选用的基是复指数信号(对于傅立叶级数展开数学上大多数情况下会表示成三角函数的形式,但本质都是相同的,因为学过复变函数的都知道正弦波其实就是一个圆周运动在一条直线上的投影,故之后论述中以复指数信号为基)所谓的基,也就是在线代里我们学过的,在某个线性空间中如果可以找到了一些线性无关的向量,这些向量可以通过线性组合构成无数其他该空间的向量,那么这组线性无关的向量就称为该空间的一组基,虽然我们在线代里的基是以向量形式表示,而这里的基是一组函数,但思想上是一致的,如果这组函数两两之间的内积为零,而自己与自己的内积为1,那么这组基就被称为正交函数基,所谓内积,也就是求其在某个规定区间内的积分,很显然,傅立叶基是一组无限正交基

    接下来先从傅立叶级数说起,任意周期信号(功率有限)都可以表示成一组复指数信号(傅立叶基)的线性组合,这里用到的复指数信号可能是无限个,也可能是有限个,对于离散的情况而言,因为离散复指数信号的周期性,必然是有限的,而在满足狄利克雷条件时,信号的傅立叶级数展开是收敛的,而对于每组基前面的系数也非常好求,根据正交性,只需要将原始信号与基做内积即可求得,这原本应该是数学里级数那一块的内容,不做深究,但现在的问题来了,为什么我们要选择复指数信号作为基(傅立叶基),而不是其他的信号,其实在不同情况下,我们也是有依据其他的基所做的变换的,比如哈达玛变换,小波变换,这些基是不是比不上傅立叶基,或者说,为什么傅立叶基我们用的最多,这确实是一个值得思考的问题。

    这里回过头来看我们之前提到的寻找基的两个准则,首先,这组基本信号要能够构成一类相当广泛的有用信号(一会说到傅立叶变换时,就会知道傅立叶变换的使用条件是针对能量有限信号,只有这类信号才能做傅立叶变换),然后呢,在线性时不变系统中,对每一个基本信号的响应最好也要十分的简单,这里,就要说到复指数信号一个非常神奇的性质了,复指数信号是线性时不变系统的特征函数,所谓特征函数,又可以和线性代数里的特征向量做类比,如果某个矩阵乘以一个向量后所得向量与该向量平行,那么就称该向量为该矩阵的特征向量,而特征函数也就是说,一个复指数信号通过线性时不变系统后仍旧是一个复指数信号,其频率未发生变换,只是指数全面的幅度发生了变化,而这个幅度也是可以用一个通式表示的,那就是该线性时不变系统的单位冲激响应的傅立叶正变换,这件事情非常的神奇,神奇到我们就有了频谱这个东西(虽然准确来说我们在能量信号的傅立叶变换中才去说频谱,傅立叶级数中通常叫傅立叶系数谱)

    总之,这里通过线性时不变系统后,复指数信号的频率没变,系数是一个关于频率w的函数,我们将其称为频率响应,对于原始的输入信号在做傅立叶展开时(即一组复指数信号的线性组合),每个不同频率的复指数信号前都会有一个系数,这个称之为傅立叶系数而线性时不变系统也就可以看作是通过乘以相应频率点上的频率响应值来逐个改变输入信号的傅立叶系数,于是我们整理一下就会发现,如果我们知道一个线性时不变系统的单位冲激响应,通过傅立叶正变换可以求出其频率响应,而如果我们又知道输入信号的傅立叶系数,那么自己通过乘法就可以求出输出信号所对应的傅立叶级数,而不需要先在时间域上做卷积运算,再做傅立叶级数展开这么麻烦,根据复指数信号是线性时不变系统的特征函数这一点让原本的卷积运算变为了更加简单的逐频率系数相乘,确实是一件让人激动的事情

    虽然我们还只讲了傅立叶级数,没有说傅立叶变换,但观者应该已经可以体会到傅立叶分析的奇妙所在,而我们之前说的一个信号的傅立叶级数展开的条件是它首先是一个周期信号,并且功率有限,但如果这么限定下来,对于非周期信号岂不是很不友好,因此我们要把傅立叶级数再往前推一步,让其对于非周期信号也同样适用,而这就是我们通常所说的大名鼎鼎的无处不在的傅立叶变换(这篇我们讨论的是连续傅立叶变换以及离散时间傅立叶变换,对于其演进的版本,比如快速算法的DFT,FFT这些不做探讨)

    先给出傅立叶变换的使用条件,仅限于能量有限信号,对于非能量有限信号拉普拉斯在向你招手,而更傅立叶级数一样,还是那句话,一个能量有限信号可以由一组复指数信号的线性组合来表示,但是这里,每个复指数信号前面的系数都是无穷小,很多人可能对这个表述有疑惑,明明傅立叶正反变化都是以积分的形式给出(连续时),怎么又是线性组合,这里就要来源于傅立叶变换的推导,对于每一个能量有限的非周期信号都可以看作是周期无穷大的周期信号,而我们依然将其按照傅立叶级数的方式展开,就会得到一个黎曼和的形式,这和我们在高数中学的定积分的推到过程非常类似,一组极限和的结果变成了在某个区间内的积分,所以虽然傅立叶变换(连续)是以积分形式给出,但其本质还是可以看作一组复指数信号的线性组合,但我之前也说了,每个复指数信号前面的系数都是无穷小,因为会乘上一个积分式里最后的那个无穷小量,因此我们就不能在用傅立叶系数(傅立叶级数的系数)来表示,而需要找一个非无穷小量,并且去之前的傅立叶系数成正比,因此我们这里要做归一化,把每个傅立叶系数成以信号的周期T(无穷大量),得到的就是一个有限值,而这也就是我们通常所说的傅立叶正变换,或者说频谱公式(注意,这还是一个关于w的函数,可能是实数也可能是偶数),我们将其画出来应该是一个三维的图像,一个w,一个实轴,一个复轴,而如果对其取模的话,对于任意频率都会得到一个实数,就是我们通常所说的幅度谱,当然把它的相位提取出来就是相位谱,只是这个我们通常考试考的不多(但实际上同样非常重要)

    至此,不管是周期信号还是能量有限信号,我们都可以通过傅立叶级数展开或者傅立叶变换来得到其傅立叶系数谱或者频率谱,这件事情的好处有很多,比如对于原本的线性时不变系统而言,我们不在需要去直接求单位冲激响应,只需要通过输出信号的傅立叶变换除以输入信号的傅立叶变换,得到其频率响应,然后再做一次傅立叶反变换即可,当然其中傅立叶变换的公式是一定的,你可以将其看成是时域向频域做的一次映射,而输入,输出,单位冲激响应,这三者是知二推一的关系,显然在频域里做乘法运算比在时域做卷积运算要方便很多,但如果仅仅是减少运算量这件事情似乎很难说服大多数人接受傅立叶变换,它的优势觉不仅于此,这里知乎上有很多的讲解傅立叶变换通俗易懂的文章,读起来肯定比我这一篇要舒服很多,其中很多的道理也讲的很清楚,我这里不再过多展开,仅补充几点

    通常大家说自己学完傅立叶变换后最大的感受就是看问题的角度变多了,以前我们总在时域上看问题,最多不过是四维空间,而现在我们多了一个研究和分析问题的角度就是频域,时域上很多复杂的问题放到频域里面去看就会简单很多,比如一组不同频率的正弦波的叠加在时域上可能是一个比较复杂的模型,但在频域上则是对应于不同频率处的冲激响应,一目了然,从实际问题中体会傅立叶变换的妙处和哲学是一个理解它的不错的方法,但是在我看来,由于这本身还是一个数学方法,所以最好的还是要从数学的角度来看其实傅立叶变换,或者是小波变换,或者是离散余弦变换,这些变换本质都是一种基变换,对于不同的系统,不同的研究对象,我们可以选取不同的基来让研究和分析变得更加简单,比如因为复指数信号是线性时不变系统的特征函数,因此我们在研究线性时不变系统及其特性时通常采用傅立叶变换,选取了一组好的基,可以让问题变得简单,比如我们的现在机器学习里很多的降维算法,像PCA,K-L变换也是基变换,对于一些基可能会出现很多很小的系数,或者是零系数,这要用这组基去表示这一信号或者向量时也就更加的简洁,而越是简洁就越于分析

    总之,傅立叶变换是一个非常神圣而又优雅的数学方法,它的应用绝对远不止本文提到的这些,比如滤波,调制等等,由于笔者学通信出生,对这方面的内容还是很有兴趣的,但我想每一个学EE的同学都应该把傅立叶变换熟记于心,同时不至于其公司的简单形式,更应知道其适用范围和数学内涵,我想这对于我们以后的研究和学习都大有裨益

    展开全文
  • %求第(k,l)个傅里叶基函数在(x,y)处的值。为可视化虚部也看做实数 end end fprintf('%d',k) fprintf('%d\n',l) colormap('Cool');%选择色调,这里为Cool imagesc(A); % 由A(x,y)的值确定颜色 %set(gca,'...
    
    % 用图像绘制:
    figure(1);
    M = 16;%图片的宽度
    N = 16;%图片的高度
    A = zeros(M,N);
    
    for k = 0:M
        for l = 0:N
                for x = 1:M
                    for y = 1:N
                      subplot(M,N,(k*(N)+l+1)); %画子图
                      A(x,y) = cos(2*pi*k*x/M + 2*pi*l*y/N) + sin(2*pi*k*x/M + 2*pi*l*y/N);%求第(k,l)个傅里叶基函数在(x,y)处的值。为可视化虚部也看做实数
                    end
                end
                fprintf('%d',k)
                fprintf('%d\n',l)
                colormap('Cool');%选择色调,这里为Cool
                imagesc(A); % 由A(x,y)的值确定颜色
                %set(gca,'xaxislocation','top');  % 把x轴换到上方
                set(gca,'ydir','reverse');       % 把y轴刻度倒置
                title( {['B(', num2str(k), ',',num2str(l),')']})
        end
    end
    
    
    
    
    
    

    另一种可视化

    N = 4;
    h = zeros(N,N);
    figure(1);
    for u = 1:N
        for v = 1:N
            for x = 1:N
                for y = 1:N
                    I(x,y) = exp(j*2*pi*((u-1)*(x-1)+(v-1)*(y-1))/N);
                end
            end
            
            subplot(N,N,v+N*(u-1)),imshow(I);title(['u=',num2str(u-1),' v=',num2str(v-1)]);
        end
    end

    原理以及参考文献

    根据如下公式进行计算即可

     

    https://wenku.baidu.com/view/a8f7916f793e0912a21614791711cc7931b778b8.html

     

    展开全文
  • 基函数与函数空间

    万次阅读 2018-09-05 16:10:57
    在学习线性回归模型的时候就会遇到基函数,可能我们会遇到多项式基函数、高斯基函数、sigmoid基函数,当然在高等数学和信号系统中还经常会碰到傅里叶基。有时候,不禁要问,这些基函数为什么这么设计?这些基函数的...

    引言

    在学习线性回归模型的时候就会遇到基函数,可能我们会遇到多项式基函数、高斯基函数、sigmoid基函数,当然在高等数学和信号系统中还经常会碰到傅里叶基。有时候,不禁要问,这些基函数为什么这么设计?这些基函数的作用是什么?
    后来发现基函数是核方法和字典训练的基础,于是乎,我逐渐有了一些例如特征转换和映射、字典元素的概念。不过还是对基函数与函数空间的关系、基函数的深层认识模棱两可。我希望能通过这篇文章,来探究这些东西。

    基函数

    在数学中,基函数是函数空间一组特殊的基的元素。对于函数空间中的连续函数都可以表示成一系列基函数的线性组合,就像是在向量空间中每个向量都可以表示成基向量的线性组合一样。
    在数值分析和近似理论中,基函数也称为混合函数(blending function),因为其在插值(interpolation)的应用

    举例:
    多项式基:{1,t, t2}是实系数二次多项式集合的基,每一个形如a+bt+ct2的二次多项式都可以写成由基函数1、t、t^2组成的线性组合。另外,{(t-1)(t-2)/2, -t(t-2), t(t-1)/2}是二次多项式的另一组基,称为拉格朗日基(Lagrange basis)。
    傅里叶基:余弦函数构成了平方可积函数的(正交)Schauder基。

    说说径向基函数

    径向基函数有个类似高斯函数的形状,我们可以看到下面的图像,不同的系数,有不同的函数图像:

     

     

    下面的三组图像是三个径向基函数在不同的权重的线性组合下的曲线形态:

     

     

     

    我们知道,线性回归模型可以看做是目标函数加入了高斯噪声模型,其概率模型形式为:

    <a href="http://private.codecogs.com/eqnedit.php?latex=p(t|X,\delta2)=\frac{1}{(2\pi){N/2}|K|{1/2}}exp(-\frac{1}{2}tTK^{-1}t)" target="_blank">

    p(t|X,\delta^2)=\frac{1}{(2\pi)^{N/2}|K|^{1/2}}exp(-\frac{1}{2}t^TK^{-1}t)

    p(t|X,\delta^2)=\frac{1}{(2\pi)^{N/2}|K|^{1/2}}exp(-\frac{1}{2}t^TK^{-1}t)

    </a>
    对于多维高斯模型的协方差矩阵,可以看做是数据构成的矩阵再加入一个噪声的方阵,当使用基函数的时候,协方差矩阵就变成了核矩阵再加上噪声的方阵。

     

    <a href="http://private.codecogs.com/eqnedit.php?latex=K=\alpha&space;XXT&plus;\delta2I&space;\Rightarrow&space;K=\alpha&space;\Phi&space;\PhiT&space;&plus;&space;\delta2I" target="_blank">

    K=\alpha XX^T+\delta^2I \Rightarrow K=\alpha \Phi \Phi^T + \delta^2I

    K=\alpha XX^T+\delta^2I \Rightarrow K=\alpha \Phi \Phi^T + \delta^2I

    </a>
    下面是用多项式基函数和径向基函数分别构成的特征变换矩阵:

     

    <a href="http://private.codecogs.com/eqnedit.php?latex=\Phi&space;=&space;\begin{bmatrix}&space;1&space;&&space;x_1&space;&&space;x_12&space;\&space;1&space;&&space;x_2&space;&&space;x_22&space;\&space;:&space;&&space;:&space;&&space;:&space;\&space;1&space;&&space;x_n&space;&&space;x_n^2&space;\end{bmatrix}" target="_blank">

    \Phi = \begin{bmatrix} 1 & x_1 & x_1^2 \ 1 & x_2 & x_2^2 \ : & : & : \ 1 & x_n & x_n^2 \end{bmatrix}

    \Phi = \begin{bmatrix} 1 & x_1 & x_1^2 \ 1 & x_2 & x_2^2 \ : & : & : \ 1 & x_n & x_n^2 \end{bmatrix}

    </a>

     

    <a href="http://private.codecogs.com/eqnedit.php?latex=\Phi&space;=&space;\begin{bmatrix}&space;exp(-2(x_1-1)2)&space;&&space;...&space;\&space;exp(-2(x_2-1)2)&space;&&space;...&space;\&space;:&space;&&space;:&space;\&space;exp(-2(x_n-1)^2)&space;&&space;...&space;\end{bmatrix}" target="_blank">

    \Phi = \begin{bmatrix} exp(-2(x_1-1)^2) & ... \ exp(-2(x_2-1)^2) & ... \ : & : \ exp(-2(x_n-1)^2) & ... \end{bmatrix}

    \Phi = \begin{bmatrix} exp(-2(x_1-1)^2) & ... \ exp(-2(x_2-1)^2) & ... \ : & : \ exp(-2(x_n-1)^2) & ... \end{bmatrix}

    </a>

     

    由于径向基函数是一种局部基函数(localized basis function),那么距离基函数中心比较远的区域,数据项对方差的贡献将趋于零,只剩下噪声的贡献。因此,对于基函数所在的区域之外的区域进行外插的时候,模型对于它做出的预测会变得相当确定,这不是我们想要的结果,可以用高斯过程这种贝叶斯回归方法来避免,这也就引入了径向基核函数这种无限维的特征转换。
    下面的特征变换是由三个不同参数的径向基函数组成的,这里看到协方差矩阵的图像中对角线区域,蓝色部分是由噪声贡献的,而红色区域是由基函数贡献的。


    利用这种协方差矩阵,构成的多维高斯分布的抽样结果用图形给出:

     

    径向基函数与插值

    径向基函数可以看作是一个高维空间中的曲面拟合(逼近)问题,学习是为了在多维空间中寻找一个能够最佳匹配训练数据的曲面,然后来一批新的数据,用刚才训练的那个曲面来处理(比如分类、回归)。径向基函数的本质思想是反向传播学习算法应用递归技术,这种技术在统计学中被称为随机逼近。径向基函数就是在神经网络的隐单元里提供了提供了一个函数集,该函数集在输入模式(向量)扩展至隐空间时,为其构建了一个任意的“基”。这个函数集中的函数就被称为径向基函数。

    径向基函数是一种精确插值器,其方法方法不同于全局和局部多项式插值器,它们都不是精确插值器(不要求表面穿过测量点)。径向基函数还可预测大于最大测量值和小于最小测量值的值。
    径向基函数用于根据大量数据点生成平滑表面。这些函数可为平缓变化的表面生成很好的结果。但在表面值在短距离内出现剧烈变化和/或怀疑样本值很可能有测量误差或不确定性时,这些方法不适用。

    径向基核函数

    我们先看一下为什么说径向基核函数(高斯核函数)是无限维的特征转换吧。
    将径向基核函数做泰勒展开形式如下:

    <a href="http://private.codecogs.com/eqnedit.php?latex=k(x,x')=exp(-(x-x')2)=exp(-x2)exp(-x'2)exp(2xx')&space;=exp(-x2)exp(-x'2)[\sum_{i=0}{\infty&space;}\frac{(2xx')i}{i!}]&space;=\sum_{i=0}{\infty&space;}[exp(-x2)exp(-x'2)\sqrt{\frac{2i}{i!}}\sqrt{\frac{2i}{i!}}xix'i]&space;=\Phi(x)^T\Phi(x')" target="_blank">

    k(x,x')=exp(-(x-x')^2)=exp(-x^2)exp(-x'^2)exp(2xx') =exp(-x^2)exp(-x'^2)[\sum_{i=0}^{\infty }\frac{(2xx')^i}{i!}] =\sum_{i=0}^{\infty }[exp(-x^2)exp(-x'^2)\sqrt{\frac{2^i}{i!}}\sqrt{\frac{2^i}{i!}}x^ix'^i] =\Phi(x)^T\Phi(x')

    k(x,x')=exp(-(x-x')^2)=exp(-x^2)exp(-x'^2)exp(2xx') =exp(-x^2)exp(-x'^2)[\sum_{i=0}^{\infty }\frac{(2xx')^i}{i!}] =\sum_{i=0}^{\infty }[exp(-x^2)exp(-x'^2)\sqrt{\frac{2^i}{i!}}\sqrt{\frac{2^i}{i!}}x^ix'^i] =\Phi(x)^T\Phi(x')

    </a>
    其对应的无限维的特征转换为:

     

    <a href="http://private.codecogs.com/eqnedit.php?latex=\Phi(x)=exp(-x2)(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{22}{2!}}x^2,...)" target="_blank">

    \Phi(x)=exp(-x^2)(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}x^2,...)

    \Phi(x)=exp(-x^2)(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}x^2,...)

    </a>

     

    我们看到了径向基核函数,是xi和xj数据之间欧氏距离的函数。
    下面是核矩阵和抽样的图像:

     

     

     

    从上图看到,径向基核函数以每个数据点为中心进行建模,在有数据的区域贡献随机变量的方差,而不再像用单一的径向基函数只在函数中心保有对方差的贡献。上图同样说明,相邻的数据有强相关性,而相离的数据没有什么相关性,即红色区域和蓝色区域说明的情况。
    这是高斯过程模型的基础,相比贝叶斯线性模型而言,高斯过程不再对模型参数进行建模(通过对参数分布进行采样,再进行不同基函数模型的组合),而是直接对数据进行相应操作。

    函数空间浅显解释

    空间是数学抽象出来描述具有某些特殊性质和结构的集合。学过线性代数的人都知道线性空间,向量是线性空间的基本元素。空间中还有一个很重要的概念是基。为什么要有基?是为了更好的描述空间。比如说三维空间,这个空间里面的元素的个数是不可数的(也就是和自然数集找不到一一对应的关系),所以一一列出来是不可能的。数学家想出了一个很好的办法,用任意三个不共面向量的线性组合来表示这个空间中的任意一个元素。
    有了上面的概念,我们可以理解函数空间就是满足一定性质和结构的函数集合,组成这个空间的元素都是满足一定条件的函数。所以,这个函数空间里面的所有元素都是函数,而且这个空间其实是无穷维的,基有无穷多个。
    因为我是通信专业的,现在用傅里叶变换来理解一下函数空间。傅里叶变换就是给出了一组基,要求求出利用每个基线性组合成这一信号(函数)的组合系数,或者说是在这组基下的坐标。傅里叶变换的美妙之处就在于这组基取得实在是太好了。为什么呢?首先他们是正交的,更主要的是它还和自然界的情况有着微妙的联系。自然界中的水波、音波、电磁波等等,如果用数学抽象,显然是三角函数。在振荡电路、模拟通信等等领域中,使用三角函数形式的波形的好处也是非常多的。可以看到,傅里叶变换在一维信号处理领域获得了很大的成功。需要指出的是,傅里叶变换在二维信号处理领域,比如说在图像处理领域的缺点就很多了。直观上,图像的周期现象似乎不是那么明显。而且从一维情况转换到二维情况,复杂度成倍增加。



    作者:JasonDing
    转自链接:https://www.jianshu.com/p/5cc427f0df33
     

    展开全文
  • 频率v=K/N (K=0,1,…N/2) clear,clc ...%循环计算出8个基函数 for k = 0 : 7 y1 = cos(2*pi*k*x/16); y2 = sin(2*pi*k*x/16); subplot(2,4,k+1) % 绘制子图k plot(x,y1,x,y2) title(sprintf("k = %d"..
  • 要知道傅立叶变换算法的意义,首先要了解傅立叶原理的意义。 傅立叶原理表明:任何连续测量的时序或信号,都可以表示为不同频率的正弦波信号的无限叠加。而根据该原理创立的傅立叶变换算法利用直接测量到的原始信号...
  • 全面解析傅立叶变换(非常详细)

    万次阅读 多人点赞 2016-06-30 11:29:27
    前言 第一部分、 DFT 第一章、傅立叶变换的...“关于傅立叶变换,无论是书本还是在网上可以很容易找到关于傅立叶变换的描述,但是大都是些故弄玄虚的文章,太过抽象,尽是一些让人看了就望而生畏的公式的罗列,让人很
  • 正交基函数

    千次阅读 2019-08-29 23:07:05
    SH光照论文需要知道基函数(basis functions)知识。基函数就是小片的信号,可以被缩放、组合来产生原函数的近似,计算多少基函数需要被加到结果中的过程被称为投影(projection)。通过基函数估计原函数,需要找一...
  • 在学习线性回归模型的时候就会遇到基函数,可能我们会遇到多项式基函数、高斯基函数、sigmoid基函数,当然在高等数学和信号系统中还经常会碰到傅里叶基。有时候,不禁要问,这些基函数为什么这么设计?这些基函数的...
  • 此前在另外一篇文章尝试给对傅立叶级数、傅立叶变换进行过稍微直观点的解释。本文会对公式进行细节的、代数上的解释。1 对周期函数进行分解的猜想拉格朗日等数学家发现某些周期函数可以由三角函数的...
  • 在学习线性回归模型的时候就会遇到基函数,可能我们会遇到多项式基函数、高斯基函数、sigmoid基函数,当然在高等数学和信号系统中还经常会碰到傅里叶基。有时候,不禁要问,这些基函数为什么这么设计?这些基函数的...
  • 再从函数空间与去考虑 傅里叶级数 并介绍了其他的函数空间的♂ 比如泰勒展开 就是多项式 这些文章给了我们新思路:可以从线性变换去考虑这些东西。 正交化过程的理解:之前一直是死机公式。。。  内积...
  • 傅立叶变换及应用1-傅立叶级数

    千次阅读 2013-08-01 10:56:15
    傅立叶级数主要是研究周期现象(周期函数)。 傅立叶变换主要是研究非周期现象(非周期函数)。 傅立叶变换可以看成傅立叶级数在周期T趋向无穷大的极限。 理解傅立叶分析首先要理解下面两个概念: 1、分析...
  • 电子散斑干涉技术(ESPI)测量物体变形时,初始载荷下采集的散斑图像呈现出粗宽分布,提出了一种基于径向基函数的粗宽条纹图滤波方法。介绍了基于径向基函数平滑插值的滤波原理,分析了该滤波方法的参数选取问题。通过...
  • 写在最前面:本文是我阅读了多篇相关文章后对...关于傅立叶变换,无论是书本还是在网上可以很容易找到关于傅立叶变换的描述,但是大都是些故弄玄虚的文章,太过抽象,尽是一些让人看了就望而生畏的公式的罗列
  • 基函数与基图像

    千次阅读 2011-06-06 14:38:00
    有了基函数的概念,就容易找到离散图像的线性变换(离散傅里叶变换、离散余弦变换、离散沃尔什变换、离散哈达玛变换)之间的联系,各种变换的不同之处,也仅是基函数不同而已了。就是说不同的基函数对应不同的变换,...
  • 【纯技术帖】为什么要进行傅立叶变换?傅立叶变换究竟有何意义?如何用Matlab实现快速傅立叶变换来源: 陈诚--WECN的日志 写在最前面:本文是我阅读了多篇相关文章后对它们进行分析重组整合而得,内容非我所原创...
  • 傅立叶变换详细推理

    2021-08-28 23:27:24
    二、周期为2π的傅立叶级数 1.求a0 2.求an 3.求bn 三、周期为2L的傅立叶级数 四、傅立叶级数的复数形式 五、傅立叶变换(Fourier transfor) 一、三角函数的正交性 三角函数系(集合) 即为与组成的集合,...
  • 最发达的例子是切比雪夫多项式和傅立叶级数。 这个包主要是为了在包 FrameFun 中使用而开发的,它以使用近似理论框架的函数的数值近似为中心。 它也可以单独使用,但到目前为止,这段代码的功能并不完整,也不是有意...
  • 傅立叶分析第7章
  • 频谱图 与傅立叶变换

    万次阅读 多人点赞 2017-12-06 15:48:23
    频谱图的生成中,傅立叶变换的作用
  • 要知道傅立叶变换算法的意义,首先要了解傅立叶原理的意义。傅立叶原理表明:任何连续测量的时序或信号,都可以表示为不同频率的正弦波信号的无限叠加。而根据该原理创立的傅立叶变换算法利用直接测量到的原始信号,...
  • 傅立叶级数

    千次阅读 2017-04-24 17:20:08
    这一节讲的傅立叶级数,以前信号与系统课程里面也有傅立叶级数,但是觉得十分的迷~ 下面总结下老师在公开课中对傅立叶级数的介绍: 傅立叶级数公式:f(x) = a0 + a1sinx + b1cosx + a2*sin2x + b2cos2x + ...... ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 6,111
精华内容 2,444
关键字:

傅立叶基函数