精华内容
下载资源
问答
  • 关于压缩感知的基本原理

    千次阅读 2018-12-11 21:10:53
    转自... 该博客中作者介绍了传统的压缩和压缩感知,并且介绍了匹配追踪算法OMP的基本原理,让我看明白点了OMP算法。但是有一个疑问,如果不知道信号的稀疏度该怎么办? ...

    转自https://blog.csdn.net/wanz2/article/details/52770095

    该博客中作者介绍了传统的压缩和压缩感知,并且介绍了匹配追踪算法OMP的基本原理,让我看明白点了OMP算法。但是有一个疑问,如果不知道信号的稀疏度该怎么办?

    一些关于压缩感知的好的博客,记录一下:https://blog.csdn.net/qqin0110/article/details/79117355 用matlab对图像进行压缩感知的处理方法。

    https://blog.csdn.net/hjxzb/article/details/51077309 用Python实现IRLS重构算法

    展开全文
  • 压缩感知基本原理

    千次阅读 2013-03-04 10:59:36
    传统信息获取和处理过程主要包括采样、压缩、传输和解压缩四个部分。采样过程必须满足奈奎斯特采样定理。 采样定理:在进行模拟/数字信号转换过程中,当采样频率fs.max大于信号中最高频率fmax2倍时(fs.max>=2...

    传统的信息获取和处理过程

    传统的信息获取和处理过程主要包括采样、压缩、传输和解压缩四个部分。采样过程必须满足奈奎斯特采样定理。

    采样定理:在进行模拟/数字信号的转换过程中,当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>=2fmax),采样之后的数字信号完整地保留了原始信号中的信息。

    当信号频率很高时,由于采样定理的限制,要保存原始信号的信息,势必会耗费很大的存储空间。

    压缩感知

    Candés和Donoho在相关研究基础上于2006年正式提出了压缩感知的概念. 其核心思想是将压缩与采样合并进行,首先采集信号的非自适应线性投影(测量值),然后根据相应重构算法由测量值重构原始信号. 压缩传感的优点在于信号的投影测量数据量远远小于传统采样方法所获的数据量, 突破了香农采样定理的瓶颈,使得高分辨率信号的采集成为可能.

    假设一幅图像包含10万个像素点,完整地表示它需要10万维的向量。但是如果经过小波变换,并且图像不包含过多的噪声和纹理,可能只需要1千个小波系数就能表示。这是某种图像压缩算法的基本思想,例如JPEG2000.

    一个K稀疏的信号x只有K个自由度,重建x只需要K个左右的测量值,这就是CS的哲学思想:测量值个数应与压缩大小同数量级,而不是未压缩时的大小。

    --------------------------------------------------------------------------------------------------------------

    稀疏表示

    信号经过某种线性变换能稀疏表示是压缩感知的一个先验条件。当一个信号只有少数元素非零,则可称该信号是稀疏的(可压缩)。K-稀疏信号指信号至多有K个元素非零。

    一般信号是非稀疏的,这就需要线性变换。

    其中:f是原始信号,x是稀疏信号。

    注意:满足稀疏这一条件,是为了信号重构

    --------------------------------------------------------------------------------------------------------------------------------------------------

    测量矩阵

    y=Ax

    其中,C是测量矩阵,M*N维,M<<N,N是原始信号的维度,经过测量矩阵线性投影后,得到的测量值y维度仅为M。

    测量矩阵需要满足约束等距性(RIP),可以通过选择一个大小为M*N的高斯测量矩阵得到, 高斯测量矩阵的优点在于它几乎与任意稀疏信号都不相关, 因而所需的测量次数最小. 但缺点是矩阵元素所需存储空间很大, 并且由于其非结构化的本质导致其计算复杂。

    将原始信号f与测量矩阵相乘得到测量值(测量过程跟稀疏性无关)

    信号重构

    考虑模型:y=Ax

    由M维的测量值y重构出N维的稀疏信号x,由于M<<N,此类问题是under-determined的,可能会得到无数个满足条件的解(特解+基础解系)。

    但如果满足条件:

    (1)y的维数,即测量次数=cK*log(N)

    (2)A满足RIP条件

    信号x可以由测量值y通过L0范数最优化精确重构

    然而一般的信号都是非稀疏的,这就需要通过某种变换得到信号的稀疏表示,即:

    f=T*x

    其中,x是原始信号f在T变换域下的稀疏表示,则:

    y=Cf=C*Tx=CT*x=Ax            (A=CT 可称为感知矩阵)

    则信号重构:

    具体重构方法不赘述

    得到重构的后,通过变换基T重构出原始信号。

    展开全文
  • 压缩感知.pptx

    2019-10-14 09:28:06
    压缩感知基本原理介绍 基于压缩感知的大规模MIMO-OFDM系统信道估计方法研究
  • 压缩感知的学习

    2018-12-14 14:32:42
    一般来说,它所需的样本数量比多年来信号采集的基本原理:奈奎斯特采样定理所需的样本数量要少得多。奈奎斯特采样定理指出,当采样一个信号时,采样速率必须至少是该信号带宽的两倍,即奈奎斯特速率。所以传统信号...

    压缩感知(Compressed Sensing,CS)算法是一种用于采集和压缩数字信号的新兴技术并在许多应用中具有潜在的优势。CS的方法是利用特定域中信号的稀疏性来减少重构信号所需的样本的数量。一般来说,它所需的样本数量比多年来信号采集的基本原理:奈奎斯特采样定理所需的样本数量要少得多。奈奎斯特采样定理指出,当采样一个信号时,采样速率必须至少是该信号带宽的两倍,即奈奎斯特速率。所以传统信号处理方法常采用先采样、后压缩的方式,主要步骤是:首先,以奈奎斯特速率对信号进行采样,然后使用诸如小波或傅里叶变换的方法对采样的信号进行压缩,保留和量化有关系数并丢弃不必要的系数。然后,处理过的信号可以被存储或传输。随后被解压,原始信号就可以被近似地恢复。显然,如果被测量的信号具有非常宽的带宽,这就需要非常高的采样速率并会产生大量的数据。如果在压缩过程中,大量的信号元素被认为是不必要的并且被丢弃,那么这个采样过程就可以被认为是低效的,并且压缩过程也消耗了不必要的能量。这对能源严格限制的单兵系统中的生命状态监测系统是不友好的。

    压缩感知允许在采样过程中对信号进行有效压缩,也就是采样和压缩同时进行,以此来大幅度降低不必要的功耗。为了实现上述益处,需要注意CS的两个基本概念:信号的稀疏性和测量矩阵的不相干性。至关重要的是CS所采样信号至少在一个域中获取的信号是稀疏的,即在某一域中(如频域),信号中的大部分元素是零或很小的值。许多真实世界中的信号符合上述要求,包括生命状态监测系统所要监测的士兵生理信号:脑电图(EEG),心电图(ECG),肌电图(EMG)等。如果信号满足稀疏性的要求,则可以通过相对较少采样压缩测量值来获得准确的重构信号。不相干性原理指出,用于获取压缩信号的测量矩阵必须与信号稀疏表示的字典不相干。一般来说,被测信号越稀疏,CS越多地利用信号特征,重构质量越好。

    CS范例指出可以通过仅采集/传输代表X信号的M个样本来重构代表信号X的N个样本,其中M<<N。因此,信号采集/传输所需的开销大幅度减少了。其采集/压缩和重构流程如下:

    1)采集/压缩:CS中采集/压缩过程包括由N个样本组成的数据X和由公式(1)中表示的M×N维大小的测量矩阵Φ。通常,矩阵Φ的分量已知是独立同分布的(i.i.d)。这些i.i.d元素通常从高斯分布或伯努利分布中选择,因此Φ可以被看作是随机矩阵。这个随机矩阵Φ被称为传感或测量矩阵。长度为M的数据Y是信号Χ的呈现。一般来说,这是CS采集/压缩阶段的唯一步骤

                                         (1)

    2)重构:为了重构信号X,需要公式(2)中的向量α,其中α是在稀疏字典或稀疏矩阵Ψ中表示的稀疏信号。如果Χ在被采集的域中足够稀疏,那么Ψ就是简单的单位矩阵。注意,稀疏矩阵不一定是方阵,并且列Ρ的数量可以增加到N以上以创建过完备字典。

    因此,重构的目的是从向量Y(长度为M)产生向量α(长度为P)的一个版本。等式定义如公式(3)所示:

    求解α的方程是经典线性代数问题Ax=B的形式,其中x是未知的。由于方程组由M个方程中的N个未知数组成,所以它可以在计算复杂度高的系统上来求解或近似采集的原始稀疏信号。已经表明,如果信号在字典Ψ中是稀疏的,那么找到一组不定线性方程组来或精确求解的概率是很高的。

    在进行压缩感知的信号采样压缩和重构时,常用的三个性能指标为:稀疏性、压缩比和百分比均方根差。

    1)稀疏性:如果信号某一域中元素大多数是零或很小值,则信号在该域中是稀疏的。稀疏性的效果是这些零元素可以被有效地丢弃而不丢失相关的信号信息。如果一个稀疏信号包含S个非零项,那么该信号被认为是S稀疏的。对于长度为N的信号,这意味着可以在保持此信号重要信息的同时去除(N-S)个信号系数。在这种情况下,稀疏百分比定义为:

    2)压缩比(CR):所需代表信号Χ数据的样本的减少度量。在CS的情况下,它是原始和压缩信号向量长度之间的比率。如果N代表信号Χ的长度,M是传感矩阵的维数,也就是所需能精确重构信号Χ的测量次数M,则CR定义为:

    3)百分比均方根差(PRD):PRD是重构信号Χ’与原始信号Χ之间的失真或差异的量度:

    4)峰值信噪比(PSNR):表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值。由于许多信号都有非常宽的动态范围,峰值信噪比常用对数分贝单位来表示。其中,MSE为均方差。

     

    展开全文
  • 压缩感知进阶——有关稀疏矩阵

    万次阅读 多人点赞 2012-07-15 15:56:47
    上一篇《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressive sensing(CS)的课程,对压缩感知做进一步理解,针对其原理做出讲解。...

    上一篇《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressive sensing(CS)的课程对压缩感知做进一步理解,针对其原理做出讲解。本文较为理论性,代码请参考《“压缩感知”之“Hello world”》

    Keywords: 压缩感知 compressive sensing, 稀疏(Sparsity)、不相关(Incoherence)、随机性(Randomness)


    主要内容

    ===============================

    回忆传统压缩

    压缩感知概念 &线性度量

    压缩感知适合解决什么问题?

    压缩感知是否可行?

    怎样恢复原信号?

    Basis Pursuit & RIP

    噪声

    线性编码应用——single pixel camera

    ===============================

    回忆传统压缩

    对于原始信号x∈C(N*1),传统压缩是构造正交矩阵D∈C(N*N),正变换为y=Dx, 反变换x=D-1y= DTy, D-1= DT

    将初始信号x变换到y∈C(N*1)后,将保留其中的K个分量(K人工指定),对其他N-K个分量置零,这样的信号y就称为K稀疏(K-Sparse)的。于是得到编码策略如下:

    Code(编码):构造正交矩阵D,做正变换y=Dx, 保留y中最重要的K个分量及其对应位置。

    Decode(解码):将K个分量及其对应位置归位,其他位置置零,得到y,构造D,并用x=D-1y恢复x。

    换句话说,传统压缩就是构造正交阵进行编解码,将所有N维信号全部存储下来。其弊端是,

    1. 由于香农定理的限制,采样频率很大,这样造成了原始信号很长(N很大),消耗时间和空间。

    2. K个重要分量要分别存储其位置,多分配空间。

    3. K中分量(在传输过程中)丢失的话不好恢复。

     [ S-sparse ]:A model case occurs when x is known to be S-sparse for some 1≤S≤n, which means that at most S of the coefficients of x can be non-zero.

    ===============================

    压缩感知概念 & 线性度量

    卍 压缩感知初识(详见上一篇具体介绍):

          与传统压缩不同的是,压缩感知采用的y=Dx中,D不是N*N, 而是D∈C(M*N)的,其中M<N,也就是说D是一个扁矩阵,未知数个数大于方程个数。对于方程Dx=y, x∈C(N*1),y∈C(M*1),

          我们知道,当M>=N的时候,这是一个determined或over-determined的problem,而且容易求解;而M<N的时候问题是under-determined的,如果我们假设x是稀疏的,最好的solution就是能够满足Ax≈b的最稀疏的x。CS惊人之处就是可以解决这种under-determined的问题:给定M*1的y,可以根据D恢复出N*1的x, 其中M<<N。如果x是S稀疏(S-sparse)的(或者想要让它是S稀疏的),那么我们只需要取那S个度量(from N个未知量x)就好了。


    卍 线性度量:

          对于上面的问题y=Dx, 当M<N时我们已知有无穷多解。假设x0是其中一个特解的话,那么通解形式即为x0+WZ,其中W∈C(N*(N-M)),是D的零空间的一组基,Z是这组基的线性组合,总有DWZ=0。所以我们的任务就是找x0+WZ中最稀疏的解x(为什么找最稀疏的后面会有证明的定理)。

         这里,原先传统压缩中N*N的D越冗余,其零空间越大,寻找更稀疏矩阵的选择越多(即x0+WZ越多)。


    卍 求解问题:


    [example of CS-imaging]:(from ppt of 陶哲轩)

    A typical example of when this assumption is reasonable is in imaging. An image may consist of ∼106 pixels and
    thus require a vector of n∼106 to fully represent. But, if expressed in a suitable wavelet basis, and the image does
    not contain much noise or texture, only a small fraction (e.g. 104) of the wavelet coefficients should be significant.
    (This is the basis behind several image compression algorithms, e.g. JPEG2000.)

    Intuitively, an S-sparse vector x has only S degrees of freedom, and so one should now be able to reconstruct x using only S or so measurements.This is the philosophy of compressed sensing(or compressive sensing, or compressive sampling): the number of measurements needed to accurately capture an object should be comparable to its compressed size, not its uncompressed size.


    ===============================

    压缩感知适合解决什么问题?

    卍 信号是稀疏的

    卍 sensor方计算代价较大,receiver方计算代价较小(即不适合将信息全部存储下来,而适合取少量信息,之后恢复)


    PS:single-pixel camera之后讲(*^__^*) 

    ===============================

    压缩感知是否可行?

    说起这个问题可能有人会奇怪,什么叫是否可行呢?就是说给出D和M维的y,是否可以唯一地把x恢复出来?答案是肯定的!

    Compressive Sensing中有两个问题,对于


    • 一个是怎样确定出一个stable的基θ,或者测量矩阵Φ
    • 另一个是如何进行信号x的恢复(下一小节)
    首先看看怎么确定一个stable的基:
    2 conditions:下图是说明了一切。



    定理:假设Ax=b中,A是m*n的矩阵,x是n维向量,y是m维向量,A中任意2S列都是线性无关的(即无法线性组合得到0向量),则s-sparse的向量x可以被b和A唯一地重构出来,i.e.


    证明:假设可以重建出两个向量x,x'同时满足Ax=Ax'=b,其中x和x'都是S-Sparse的;那么就有A(x-x')=0; 因为x-x'中非零元素个数<=2S,所以x-x'是2S-Sparse的,又因为给出条件A中任意2S个列向量都是线性独立(线性无关)的,这就与A(x-x')=0矛盾了,所以假设不成立,即,可以根据b和A唯一地恢复出x∈C(n*1)。


    ===============================

    怎样恢复原信号?

    我们已知所选择的最稀疏的x即x中非零元素最少的,即x的零范数最小的(向量的零范数即为其稀疏度sparsity)。

    然而,x=argmin||x||0使得x满足Ax=b的一个子问题是一个NP完全问题,需要在S个compoments中选出1,2,...,n个,看能从中选出最少多少个,满足Ax=b,这样,对于每一个n都有排列组合C(S,n)种方法,显然不可行。所以我们想能不能换个什么方法来恢复信号,自然而然的,我们想到了最小平方法。具体见下图Fig B。


    Fig A. 用二范数代替零范数 


    Fig B. L2范数下寻找满足Ax=b的x,发现有一定偏差。


    symmerize:

    2-methods to methods:
    1. L2-norm: quick, efficient, but get the wrong answer
    2. L0-norm: precise but impractical

    否定了L0范数和L2范数之后,我们想到取中——用L1范数(Basis pursuit的思路)。
    so get select the L1-norm , that is the abs of each element




    ===============================

    Basis Pursuit & RIP


    Basis pursuit的方法在2000年由Candes-Romberg-Tao, Donoho提出,其基本思路见下图(以二维为例):


    从图中可见,L1-norm比L2-norm靠谱多了。从上图中可见,x*处,x的L1-norm最小,这样推广到n维向量x,就是其每一维的值的绝对值的和。

    下面这个Theorem就是对L1-norm方案(Basis pursuit)可行性的定理(具体证明看论文吧):大概是说,原始S-sparse的信号f为n维,从其中随机抽取m维分量,如果想利用Basis pursuit的方法把这m维向量重建出n维原始信号,只要满足m>cS*log(n)即可,其中c是一个常数。


    很多实验结果表明呢,大多数S-sparse信号 f 可以在m>=4*S的时候得以很好的重建,由此有了下面更强的RIP假设:

    假设A中任意4S列都是几乎正交的,i.e. 在这4S列中,前4S个奇异值都在[0.9,1,1]范围内,则任意S-sparse信号x可以通过basis pursuit 由 Ax重建。


    2006年,Tao和Donoho的弟子Candes合作证明了在RIP条件下,0范数优化问题与以下1范数优化问题具有相同的解




    上面已经说过一个定理:对于Ax=b,A中任意2S列都线性独立,则任意S-sparse的向量x都可以被恢复出来,这是理论上的说法。实际上,利用basis pursuit进行恢复时需要增强条件:A中的每4S列都是几乎正交的。这个精确的条件就是RIP,许多matrix都服从这个条件。

    补充:





    实际上以上的1范数优化问题是一个凸优化,故而必然有唯一解,至此sparse representation的大坑初步成型。总结一下:

    •  如果矩阵满足sparsity=2S,则0范数优化问题有唯一解。
    •  进一步如果矩阵A满足RIP条件,则0范数优化问题和1范数优化问题的解一致。
    •  1范数优化问题是凸优化,故其唯一解即为0范数优化问题的唯一解。




    ===============================

    噪声

    实际应用中,我们用b=Ax+z来进行拟合,对付噪声的干扰,其中z是高斯噪声向量。


    Fig. Reconstructing a sparse signal x approximately from noisy data b=Ax+z, assuming that z has norm less than error tolerance e.



    ===============================

    CS应用——single pixel camera

    Rice大学首先研究出的单像素相机是CS的一个主要应用。









    test image(65536 pixels ) and CS construction using 11000 and 1300 measurements


    Reference:

    我都整合起来放在这里了,其中包括陶哲轩的讲座内容,我对其做的笔记,和大牛的一些解释。对CS的一个基本代码写在了下一篇《“压缩感知”之“Hello world”》,另外推荐一篇很好的博文。嗯。。。还有两篇文章值得一看,一是《Compressive Sensing (Signal Processing Magazine 2007 715') 》,二是《An introduction to compressive sampling (Signal Processing Magazine 2008 1061')》。


    关于Compressive Sensing更多的学习资料将继续更新,敬请关注本博客和新浪微博Sophia_qing








    展开全文
  • 压缩感知进阶

    千次阅读 2013-06-22 17:16:27
    上一篇《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressive sensing(CS)的课程,对压缩感知做进一步理解,针对其原理做出讲解。本文...
  • 前《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressive sensing(CS)的课程,对压缩感知做进一步理解。针对其原理做出解说。本文较为理论...
  • 压缩感知-有关稀疏矩阵

    千次阅读 2013-12-25 15:52:09
    上一篇《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressive sensing(CS)的课程,对压缩感知做进一步理解,针对其原理做出讲解。本文...
  • 苦于也是从3月初才开始接触DOA估计,所以也只是一知半解,在了解DOA估计的基本原理后,想结合着套上压缩感知的模式,可是总是感觉没能完全理清。 现在想想,应该是自己还没能弄明白压缩感知的基础原理知识,就急于把...
  • 上一篇《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressive sensing(CS)的课程,对压缩感知做进一步理解,针对其原理做出讲解。本文...
  •   分析信号,去掉不能被感知的部分【声音压缩算法可以确立这种特性的模型来取消更多的冗余数据】 子带分析滤波器组:使信号具有高的时间分辨率【短暂冲击信号情况下,编码的声音信号具有足够高的质量】 FFT运
  • 详细说明:本文首先研究了ISAR成像的基本原理,在理想转台模型的基础上对距离-多普勒(R-D)成像算法做了分析,对目前常用的运动补偿技术进行了对比和研究,并将这些技术用于雅克-42飞机的实测数据中。然后,论文系统...
  • 信道估计

    2017-03-15 15:28:00
    ...其颠覆了传统的奈奎斯特采样方法,在许多领域里都有应用,如...关于压缩感知的基本原理,已有许多好的综述,包括中文的网上都能找的到。这里谈谈压缩感知在信道估计中的应用。 在CNKI中可以找多许多压缩...
  • 单像素相机成像原理

    千次阅读 2019-03-17 11:43:39
    转自: ... 个人觉得对于单像素成像原理分析比较深刻透彻。...上一篇《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法,涉及的领域,本文通过学习陶哲轩对compressi...
  • 实验要求:理解程序整体框架;感知音频编码的设计思想;理解心理声学;码率分配。...心理声学模型:计算信号中不可听觉感知的部分 临界频带: 当某个纯音被以它为中心频率、且具有一定带 宽的连续噪声.
  • 分析信号,去掉不能被感知的部分 两条线 从流程图来看,MPEG音频编码分为清晰的上下两条线。上面一条线是一个标准的子带编码系统的流程,下面一条线的本质是为了帮助计算线性量化器的量化比特数,实现线性量化器...
  • 1、感知编码的基本思路 (1)心理声学模型: 听觉系统中存在一个听觉阈值电平,低于这个电平的声音信号就听不到。  听觉阈值的大小随声音频率的改变而改变。 一个人是否听到声音取决于声音的频率,以及声音的...
  • 理解程序设计的基本框架 输出音频的采样率和目标码率 选择某个数据帧,输出该帧所分配的比特数、该帧的比例因子、该帧的比特分配结果 一、理解感知音频编码的设计思想 从编码器原理图可以看出,一段PCM码流有两条...
  • MP3全称是MPEG Audio Layer 3,它是一种高效计算机音频编码方案,它以较大的压缩比将音频文件转换成较小扩展名为.MP3文件,基本保持原文件音质。MP3是ISO/MPEG标准一部分,ISO/MPEG标准描述了使用高性能...
  • 一、基本原理 感知音频编码设计思想1)人耳听觉特性临界频带 人类听觉系统大致等效于一个在0Hz到20KHz频率范围内由25个重叠带通滤波器组成滤波器组,这25个频带被称为临界频带,人耳不能区分同一频带内同时...
  • 3,它是一种高效计算机音频编码方案,它以较大的压缩比将音频文件转换成较小扩展名为.MP3文件,基本保持原文件音质。MP3是 ISO/MPEG标准一部分,ISO/MPEG标准描述了使用高性能感知编码...
  • 理解感知音频编码的基本思想 理解心理声学模型的实现过程 理解MPEG layer2音频编码器的整体框架 理解码率分配的实现思路 调试编码器,编码不同音频文件,选择一个音频帧并输出如下关键信息: 该帧分配的比特数 该帧...

空空如也

空空如也

1 2 3
收藏数 59
精华内容 23
关键字:

压缩感知的基本原理