精华内容
下载资源
问答
  • 目前,单比特压缩感知技术已经成为一个研究热点。本文首先介绍了单比特压缩感知的发展和研究现状,然后从检测和不检测观测符号两个方面对重构算法进行了分析,接着从单比特压缩感知的成像领域、无线传感器网络领域、...
  • 针对矿山井下环境的特殊性导致井下监测到的海量信息的获取受到限制等...最后,利用Matlab仿真软件,对煤矿井下采集到的瓦斯浓度数据进行稀疏性分析、压缩与重构,结果表明压缩感知技术可以较精确地恢复原始瓦斯浓度信号。
  • 压缩感知,信号处理,成像技术,很好的博士论文,大家研究这方面的话可以下载下来看看
  • 随着智能终端的兴起无线数据应用业务的丰富,无线通信系统中的数据用户数大幅增加,数据内容也不再限于传统的文字或者图像,未来用户对高清晰度视频、手机电视等多媒体业务的需求越来越多,导致无线网络流量呈现出...
  • 随着信息技术的发展,近些年压缩感知技术格外引人瞩目,在图像视频编码、雷达微波辐射成像、气象卫星、图像加密、物联网等领域展现出强大的功能与发展前景。首先介绍了压缩感知在无线传感网络领域的发展研究现状...
  • 压缩感知 -压缩感知相关知识 ...压缩感知的由来:转变获得信号后再进一步压缩处理的传统压缩方式,直接在获得信号之初就将信号进行压缩变换,由此衍生压缩感知技术。 -压缩感知应用之一 —— 单像...

    压缩感知

    1.压缩感知原理简介

    压缩感知(Compress Sensing)简单的理解就是将含有冗余信息(稀疏信号)的信号进行压缩(比如将含有多个零的矩阵进行去零操作;或者对于频域成分很少的通信信号摘除或者过滤掉此频率成分)。

    压缩感知的由来:转变获得信号后再进一步压缩处理的传统压缩方式,直接在获得信号之初就将信号进行压缩变换,由此衍生压缩感知技术。

    压缩感知理论大概可分为三步:

    1. 信号的稀疏性表示:

      将可压缩或者具有稀疏性的信号进行转换,即对下一步的信息提取(传统的压缩方式是先抽样再压缩,是对信号的压缩,而不是信息压缩)做准备,通过公式表达就是:
      xN×1=θ1ψ1+θ2ψ2+⋯+θNψN=∑i=1Nθiψi=Ψθ x_{N \times 1}=\theta_{1} \psi_{1}+\theta_{2} \psi_{2}+\cdots+\theta_{N} \psi_{N}=\sum_{i=1}^{N} \theta_{i} \psi_{i}=\Psi\theta xN×1=θ1ψ1+θ2ψ2++θNψN=i=1Nθiψi=Ψθ
      其中,xxxRRR 域一离散有限长信号;θi\theta_{i}θi 为 信号xxx变换至Φ\PhiΦ域后的系数,是其在另一个域的表示,其中,i=1,2,...,N,i={1,2,...,N},i=1,2,...,N; ψi\psi_{i}ψiΨ\PsiΨ 域的一组基, ΨN×N=(ψ1,ψ2,...,ψN)\Psi_{N \times N}=(\psi_1,\psi_2,...,\psi_N)ΨN×N=(ψ1,ψ2,...,ψN) ;

      即:
      xN×1=(x1x2⋮xN) transforms toθN×1=(θ1θ2⋮θN) x_{N \times 1}=\left(\begin{array}{c}{x_{1}} \\ {x_{2}} \\ {\vdots} \\ {x_{N}}\end{array}\right) \quad \text { transforms to} \quad \theta_{N \times 1}=\left(\begin{array}{c}{\theta_{1}} \\ {\theta_{2}} \\ {\vdots} \\ {\theta_{N}}\end{array}\right) xN×1=x1x2xN transforms toθN×1=θ1θ2θN

    tips:
    这里需要注意的是,θ\thetaθ 中的非零数的个数 小于 xxx 中的非零数个数且θ=ΨTx\theta=\Psi^{T}xθ=ΨTx

    1. 观测基的确定:

      对转换后的信号θ\thetaθ进行观测(此时已经将冗余信息通过第一步剔除出去了),这里假设一个与 Ψ\PsiΨ 不相关的观测矩阵 ΦM×N,\Phi_{M \times N},ΦM×N, 其中M≪NM \ll NMN:
      yM×1=Φθ=ΦΨTxy_{M \times 1}=\Phi\theta=\Phi\Psi^{T}xyM×1=Φθ=ΦΨTx

    2. 图像重构算法:

      对第2步观测后的信号yyy,进行求解,即最小化非零系数,传统的解决方法为P-范数优化,我们已经知道了Φ\PhiΦ,问题进一步简化为最小化ΨTx的范数\Psi^Tx的范数ΨTx
      θ^=min⁡∥ΨTx∥p,s.t.y=ΦΨTx \hat{\theta}=\min \left\|\Psi^{T} x\right\|_{p}, \text {s.t.} \quad y=\Phi \Psi^{T} x θ^=minΨTxp,s.t.y=ΦΨTx

    2.压缩感知应用之 — 单像素摄像机(Single-pixel camera)

    单像素摄像机是由Rice大学于2006年于[链接A New Compressive Imaging Camera Architecture using Optical-Domain Compressive]论文中首次发表的,利用压缩感知技术的成像设备。其主要特点是打破传统多像素感知器(CCD或CMOS)获取图像的方式,以单像素感知器结合DMD(Digital micro-mirror device, 数字微镜设备)达到数字成像的目的。

    2.1单像素相机优缺点

    • 优点
      a. 单像素(或者单个感光器件)信号采集;
      b. 随机测量和伪随机测量的通用性;
      c. 鲁棒性高,可适用于一些特殊环境
      d. 可对特殊波长、波段的信息进行采样恢复,如红外、紫外等;
      e. 相比于传统摄像机,对于某些领域的大量使用,其成本低
      f. 压缩率低

    • 缺点
      其缺点主要是需要多次测量,时间较长;

    2.2单像素相机成像原理

    实物展示图

    RICE大学发表的论文中讲解的原理图如下图所示:

    在这里插入图片描述

    如上图所示,试验设备主要由LED光源、识别物体、两个棱镜、光敏电路及DMD设备组成。

    计算成像原理示意图

    在这里插入图片描述

    简单描述其原理:光源发出光线,经由识别物体的接收域反射通过棱镜1,光束变小投至DMD设备中,经过DMD中感知变换后(这部分在下面详解),再由棱镜2聚集,投至光敏二极管/光敏电路上,获得电压值。

    不妨设 xxx 为原始图像信号(图像大小为 nnn x nnn),yyy 为接收的向量信号,设备中的信号处理过程统设为Φ\PhiΦ,称之为“测量矩阵”:
    y=Φxy = \Phi xy=Φx 其中,yyyMMM x 111 列向量,Φ\PhiΦMMM x NNN 矩阵(M<<NM << NM<<N),xxxNNN x 111 列向量。

    2.3原始信号恢复问题

    压缩后的图像恢复可通过多种算法,根本问题就是解决:
    x=Φ′yx = \Phi' y x=Φy也就是通常说的反演问题/逆问题(inverse problem).由相关线性代数的知识容易理解,将问题看线性方程求解,方程的个数小于未知数个数,则最终解不唯一或无穷个,也就是病态问题(ill-posed).

    tips:
    单像素相机虽然是基于压缩感知理论的,但是是直接对源信号进行直接压缩采样的,涵盖第一部分中的2,3步骤。

    3.DMD设备

    单像素相机的核心设备是由一系列的微镜片组成的阵列,这个器件就称为DMD(Digtial Micro Mirrordevice, 数字微镜器件),其是一种基于半导体制造技术,由高速数字式光反射开关阵列组成的器件,采用二进制脉宽调制技术,精准的对光线进行控制和信息的收集;
    在这里插入图片描述

    DMD由一系列静电制动的微小镜片阵列组组成,每片镜片由单独的SRAM单元控制,可水平方向翻转正负10°,对应镜片的on(1)和off(0)状态,根据镜片角度的不同,到达棱镜1的光束与光强亦不同;这些微镜片阵列尺寸为1024 X 768(所测图像最大尺寸即为1024 X 768,但当下图形较多为等长宽,故实验中活动镜片数量一般达不到上限。)

    *举个例子
    假设团队需要对768 X 768 的图像进行测量,则DMD仅需要用到1024 X 768 阵列中的 768 X 768 个微电镜片; 接下来需要测量64 X 64 的图片,则可以以12 X 12块阵列以单位进行处理(768/64=12),也可以重新进行设置。

    ----DMD图像处理原理----

    注意这里和第1部分 数据和矩阵表示方法的不同,维度;

    • 设定数据变量:
    1. xxx: 原始图像对应的信号,大小为NNNx111的列向量。原始图像尺寸为nnn x nnn, 且由N=nN=nN=n x nnn.
    2. yyy: 单像素相机测得的信号,大小为MMM x 111的列向量。其中MMM为单像素相机测试模式次数。
    3. Φ\PhiΦ: 测量矩阵,映射xxxyyy 的关系。(y=Φxy = \Phi xy=Φx

    Φ=[φ1φ2φ3..φM]\Phi = \begin{bmatrix} {\varphi _1}\\ {\varphi _2}\\ {\varphi _3}\\ .\\ .\\ {\varphi _M}\end{bmatrix}Φ=φ1φ2φ3..φM
    其中,φi{\varphi _i}φi为第iii次测量的模式基向量(由0、1或者1,-1构成的向量),大小为1×N1 \times N1×N.(镜片阵列大小变换一下为行向量

    • 设置DMD的镜片模式基(basis),考虑到实际中应用及方便性与本文以Hadamar矩阵为例。

    Hadamar矩阵:

    Hadamar矩阵即为行列均正交的方阵,具有HH’=NI的良好性质(其中N’为H的逆矩阵,N为常数,I为单位方阵);对H进一步元素进一步优化,会使得H在行列正交的基础上对称,则有H’=H,此时性质更新为HH=NI
    最简单的H矩阵为:H=[111−1]H = \begin{bmatrix}1&1\\1&-1\end{bmatrix}H=[1111]

    以Hadamar矩阵为基对图像进行变换(编码)并进行恢复(解码)的过程称为Hadamar变换

    举个例子
    HHH为Hadamar矩阵,XXX为图像信号矩阵,FFF为变换后的信号矩阵:
    F=HXHF=HXHF=HXH
    HFH=HHXHHHFH=HHXHHHFH=HHXHH
    HFH=NIXNIHFH=NI X NIHFH=NIXNI
    HFH=NNXHFH=NNXHFH=NNX
    解码方式即为:(NNN为常数)

    X=HFH/N2X = HFH/{N^2}X=HFH/N2

    MMM=333次测量大小为 64X64 = 4096个像素的图片为例,每次测量基底变换一次(Hadamar基底):
    第一次:图片经光反射通过棱镜1到达DMD,x.size=(n,n).reshape=(N,1)x.size=(n, n).reshape =(N, 1)x.size=(n,n).reshape=(N,1) , 则对y=Φxy = \Phi xy=Φx进行元素计算分析为:y(M×N)=[y1y2..yM]=[φ1φ2φ3..φM][x1x2x3..xN]y_{(M \times N)}=\begin{bmatrix}y_1\\ y_2\\ .\\ .\\ y_M\\ \end{bmatrix}=\begin{bmatrix} {\varphi _1}\\ {\varphi _2}\\ {\varphi _3}\\ .\\ .\\ {\varphi _M}\end{bmatrix}\begin{bmatrix} {x _1} {x _2} {x _3} . . {x_N}\end{bmatrix}y(M×N)=y1y2..yM=φ1φ2φ3..φM[x1x2x3..xN]

    y(i)=<x,φi>y(i)=<x, \varphi_i>y(i)=<x,φi>.

    同理,经过MMM次测量,可得到MMM x 111大小的yyy列向量.

    最近一次更新:2019.7.2:

    1. 修改了部分公式编辑不当之处
    2. 完善了压缩感知理论的部分
    3. 更新了图片部分,更详细易懂

    参考文献:

    1. Kitajima H, Shimono T, Kurobe T. Hadamard Transform Image Coding[J]. Bulletin of the Faculty of Engineering Hokkaido University, 1980, 101:39-50.
    2. Laska J N, Wakin M B, Duarte M F, et al. A new compressive imaging camera architecture using optical-domain compression[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2006, 6065:43–52.
    3. Duarte M F, Davenport M A, Takhar D, et al. Single-Pixel Imaging via Compressive Sampling[C]// IEEE Signal Processing Mag. 2008:83-91.
    展开全文
  • 随着智能终端的兴起无线数据应用业务的丰富,无线通信系统中的数据用户数大幅增加,数据内容也不再限于传统的文字或者图像,未来用户对高清晰度视频、手机电视等多媒体业务的需求越来越多,导致无线网络流量呈现出...
  • 介绍了压缩感知技术和无线传感器网络的发展研究现状,并从数据融合、信号采集、信号路由传输以及信号重构4个方面,对近年来基于压缩感知的无线传感器网络数据处理研究进行了详尽的分析,提出数据安全的重要性。...
  • 提出了一种基于压缩感知的光学数字图像加密方案,利用压缩感知理论特点,借助双随机相位编码技术,实现了对数字图像的多重加密。通过压缩感知使用随机测量矩阵作为密钥对原始图像加密,然后对加密图像利用Arnold...
  • 小木虫压缩感知文献

    2013-04-24 12:59:05
    压缩感知是一门比较流行的技术,其应用非常广泛,比如信号处理,宽带联网,小波等等,本文为压缩感知的原理及应用方面的介绍论文
  • 压缩感知英文综述

    2014-09-09 10:17:58
    国际上出现的压缩感知理论( Compre ss e d S e ns i ng, CS ) 为缓解这些压力提供了解决方法. 本文综述了 CS 理论框架关键 技术问题, 并着重介绍了信号稀疏变换、 观测矩阵设计和重构算法三个方面的最新进展, 评述...
  • 以雷达稀疏信号的压缩测量重构为主线,本文综述了压缩感知理论在雷达目标探测与识别中的研究进展,分析了压缩感知理论在PD雷达、穿墙雷达、MIMO雷达、雷达目标参数估计、雷达成像以及目标识别等领域的潜在应用,描述...
  • 本文综述了CS理论框架关键技术问题,并着重介绍了信号稀疏变换、观测矩阵设计和重构算法三个方面的最新进展,评述了其中的公开问题,对研究中现存的难点问题进行了探讨,最后介绍了CS理论的应用领域.
  • 多媒体技术及应用 — 课程学习 第1章 多媒体技术概要  1.1 多媒体是交互式信息传播媒体  1.2 多媒体涉及的几个概念  1.2.1 超文本的概念  1.2.2 超媒体的概念  1.2.3 标准通用标记语言 (SGML)  1.2.4 超...
  • 0. 图书 基于MATLAB 6.X的系统分析与设计-小波分析. 胡昌华,李国华,刘涛,等.西安:西安电子科技大学出版社,2004 MATLAB小波分析高级技术....小波滤波方法及应用. 潘泉,张磊,孟晋丽,等. 北...

    0. 图书

    • 基于MATLAB 6.X的系统分析与设计-小波分析. 胡昌华,李国华,刘涛,等.西安:西安电子科技大学出版社,2004
    • MATLAB小波分析高级技术. 周伟,桂林,周林,等.西安:西安电子科技大学出版社,2006
      • 这两本是matlab小波分析最早的经典之作,它们大体理出了小波理论实际应用的脉络。
    • 小波滤波方法及应用. 潘泉,张磊,孟晋丽,等. 北京:清华大学出版社,2005;
      • 这本书对于小波的发展史给予了最为详尽的叙述,通过其渊源发展你可以更容易理解Mallat和Daubechies的那些理论的意图,这些理论又是怎样一步步产生的。

    1. 从沙威的代码开始入门

    2. 小波

    转载于:https://www.cnblogs.com/mtcnn/p/9422761.html

    展开全文
  • 加密图像处理技术应用范围发展趋势研究报告随着成像技术的日臻完善,计算机技术的高速发展、电子产品普遍推广,数字图像技术已经渗透到人们日常生活、生产的方方面面,在通信、视频(包括电视广播等)、文档...
  • 虚拟现实技术应用

    热门讨论 2012-12-31 14:28:39
    本书内容较为全面且涉及面广,在编写时本着侧重于普及、推广及应用的原则,内容方面没有过多涉及有关虚拟现实技术的算法理论及程序等。本书既介绍了虚拟现实技术的必要理论,又介绍了具有代表性的虚拟现实软件的使用...
  • 2017-基于学习的目标检测及应用

    千次阅读 2018-11-13 10:38:19
    c,设计和开发适合资源受限平台的轻量化算法和和研究深度模型的压缩技术日益成为焦点。 2.目标检测的发展值得关注: a,检测性能的优化,包括精度的提升和效率的增长,尤其在小目标检测这个子问题上需要突破瓶颈;b,...

    小笔记

    1.现有的各类目标检测框架存在的共有局限和瓶颈:

    a,小目标的感知和检测;b,精度和速度难以兼得;c,设计和开发适合资源受限平台的轻量化算法和和研究深度模型的压缩技术日益成为焦点。

    2.目标检测的发展值得关注:

    a,检测性能的优化,包括精度的提升和效率的增长,尤其在小目标检测这个子问题上需要突破瓶颈;b,模型规模的压缩。

    3.Related works

    2016年,W.Liu等人提出了另一个检测框架SSD,SSD融合了YOLO的回归思想和RPN的锚点定位思想,在保持实时性的同时将检测精度提高到了与Faster RCNN相当的水平。

    2017年,TY.LIN等人提出了特征金字塔网络(Feature Pyramid Network,FPN),该网络使用不同分辨率的特征图感知不同大小的物体,并通过连续上采样和跨层融合机制使输出特征兼具底层视觉信息和高层语义信息,FPN在MS COCO上的单模型mAP可以达到36.2%,具有空前的性能优势。

    2016年,FN.landola等人提出了参数量极少的“挤压网络(SqueezeNet),该网络通过削减卷积通道数和广泛使用小规模卷积核,在保持和AlexNet性能相当的同时大幅缩减了参数规模。同年,S.Han等人提出了深度压缩(Deep Compression)算法:使用权值剪枝、量化和哈夫曼编码等方法将AlexNet压缩了35倍而模型的性能基本保持不变。

    4.Roi pooling层的过程就是为了将proposal抠出来的过程,然后resize到统一的大小。Roi pooling层的操作如下:

    1、根据输入的image,将Roi映射到feature map对应的位置;
    2、将映射后的区域划分为相同大小的sections(sections数量和输出的维度相同);
    3、对每个section进行max pooling操作。

    5.R-FCN主要创新包括两个方而:

    一是提出了位置敏感的候选区域池化算法,通过人工引入位置信息给模型参数一个强烈的先验约束,从而提升网络对目标位置的敏感度;
    二是明显减少了需要遍历每个候选区域的末端检测器参数量,使得网络的绝大部分都直接处理整幅图像,从而加快了检测速度。

    本文目的:

    在现有的基于深度学习的物体检测模型基础上进行局部改进和调整,在网络结构和算法流程中提出并实现一些更适应小目标检测的方法和手段。同时,初步探究轻量级目标检测模型的设计搭建和检测模型的压缩算法。

    本文主要内容:

    1. 实现(Mask RCNN中的)候选区域匹配池化算法,并推广到R-FCN框架中,提出位置敏感的候选区域匹配池化算法;
    2. 以SqueezeNet分类网络和Faster RCNN检测框架为基础,搭建小规模检测网络,并使用权值聚类等方法实现进一步的模型压缩;
    3. 设计了一种包含反卷积上采样和跨层特征融合的Faster RCNN检测算法,获得了小物体检测性能上的提升;随后尝试复现FPN。

    算法实现细节

    候选区域匹配池化算法:用于解决ROI Pooling进行两次量化而产生误差这一问题,该算法不对候选区域边界以及单元边界作量化,而是固定4个坐标位置,用双线性内插的方法计算这四个位置的值。
    上采样的实现:采用一个额外编写的专门实现双线性插值的上采样层;取消FPN原文中的head6,搭建了一个四路的特征金字塔网络;末端检测器参数共享方式,并行使用4个共享参数的末端检测器在网络训练时很难有效收敛,因此本文搭建的特征金字塔网络显式的使用同一个末端检测结构。但是实验结果不收敛,为什么呢?

    问题:

    1.候选区域匹配池化算法只适用于两级网络优化?
    2.如何搭建小规模检测网络,如果我搭建了,如何使用权值聚类,奇异值分解,剪枝,蒸馏?
    3.反卷积上采样和跨层特征融合的SSD就是SSD+FPN?

    展望:

    1.可以尝试将本文提出的区域匹配思想进一步推广到单级检测网络;
    2.可以采用MobileNet,ShuffleNet等模型与单级检测网络结合,并利用低秩分解、剪枝、编码操作等压缩手段,获得更满意的参数缩减效果;
    3.特征金字塔是一种思想,原论文中发表的网络只是将这种思想应用到了faster RCNN检测框架流程中。而每个阶梯的检测结构并不受限于文中所述的候选区域推荐加末端检测器这一固定流程,许多其他的两级检测算法甚至单级检测算法都可以被应用到特征金字塔网络中。

    =小网络设计摘抄=

    如何将SqueezeNet网络迁移到Faster R-CNN检测框架中呢?
    1.RPN的嵌入位置。 “如果RPN过于靠后,末端检测器结构会过于简单,不利于精确识别和拟合包围框坐标;反之如果过于靠前,基础网络深度不够,会影响RPN初定位的可靠性,同时增加末端检测器的计算开销。本实验发现,将RPN放在Fire9之前、Pool8池化层之后,可以获得较好且稳定的检测性能。”

    2.末端检测器的设计。 “Faster R-CNN末端检测器包含两个任务,因此采用共享参数的多任务损失设计:分类采用Softmax负对数交叉熵损失函数,要求输入特征为一个C维向量,C表示类别数;包围框回归采用SmoothL1损失函数,要求输入特征为一个4xC维的向量。针对这两种损失函数,需要在网络末端设计相应的特征提取器。”

    “由于SqueezeNet取消了全连接层,转而采用卷积加全局池化的方式进行末端特征提取,这种设计的主要目的是控制参数量并且保持特征的空间属性。沿袭这一思路,我们首先想到保持分类分支的结构不变,同时采用类似的卷积+池化的方式添加包围框回归分支。然而实验发现这种末端检测器虽然参数规模小,但检测性能很差。”

    “基于这种情况,本文考虑在末端提取器的设计上采用全连接结构:保持网络其他部分不变,仅将分类和包围框回归末端提取器的卷积层和全连接池化层取消,代之以全连接层。实验结果表明,改进后网络性能获得明显提升,但与此同时,参数规模也随之增长了五倍之多。”

    “输入到全连接层提取器的特征(即fire9的扩张模块)通道数为512,是整个SqueezeNet网络中规模最大的卷积层,这是造成改进后网络参数急剧增长的首要原因。基于以上分析,本文尝试在Fire9之后加入额外的1x1卷积层对特征进行降维、再将降维后的特征输入到分类和包围框回归的提取器中。实验发现,在通道数从128-32过程中,通道数的减少反而使检测效果更好,这说明原来的末端检测器在结构上是存在较大冗余的。实验发现,在通道数为16的降维卷积层前面增加一个通道数为32的卷积层,可以使检测性能和方案4持平的同时将模型大小压缩至9.1M;如果以通道数为16,大小为3x3的卷积核进行降维,可以让map提高至0.533,参数规模为11M。”

    展开全文
  • 该模型基于压缩感知算法,将稀疏系统的辨识等效为信号的重构问题,利用正则正交匹配(ROMP)算法对核系数进行稀疏化并选择出活跃的核系数。将提出的模型与记忆多项式(MP)模型、通用记忆多项式(GMP)模型进行比较,较MP模型...
  • 该模型基于压缩感知算法,将稀疏系统的辨识等效为信号的重构问题,利用正则正交匹配(ROMP)算法对核系数进行稀疏化并选择出活跃的核系数。将提出的模型与记忆多项式(MP)模型、通用记忆多项式(GMP)模型进行比较...
  • rar压缩软件.rar

    2016-02-13 10:52:44
    压缩文件的内容列表[技术信息[全部], 无修饰]。 'l' 列出存档文件的属性、大小、日期、时间和名称,每个文件一行。如 果文件被加密,行以 * 号开始。 'lt' 以多行模式显示详细的文件信息。此信息包括文件校验...
  • 探讨了利用DMD 空间调制特性增强系统性能的具体实现方式,包括高动态范围成像、像素内目标特征检测、探测器像元几何超分辨、压缩感知及成像光谱仪等,并给出了应用过程中涉及的关键技术,如高动态范围成像中各像元...
  • l[t,b] 压缩文件的内容列表[技术信息]。和 'v' 命令一样列出文件,但不包括 文件路径。也就是只显示文件名。当使用't'修正时可选技术信息(主操作 系统,固实标志和老版本标记)被显示。变量 'b' 强迫 RAR 只输出...
  • 第二部分(第3~4章)主要介绍了基于稀疏表达的直线拟合和基于迭代自适应方法的直线拟合两种直线拟合算法,都是以阵列信号处理理论建模,前者利用压缩感知理论求解直线参数,而后者利用阵列信号处理领域的近场、远场...
  • 有iOS移动应用安全分析,基于大数据和海量数据挖掘的攻击溯源技术,运营商异常流量监控实践,SCADA网络攻击测试研究安全防护手段,协议Fuzzing在工控安全领域的应用,基于机器学习与攻击树的威胁感知方法与实践,...
  • 包含章节:课后习题答案 第1章数字媒体技术概论 1.1媒体及其特性 ...第8章数字媒体压缩技术 第9章数字媒体存储技术 第10章数字媒体管理与保护 第11章数字媒体的传输技术 第12章数字媒体技术发展趋势
  • 随着人工智能的不断发展,超分辨率重建技术在视频图像压缩传输、医学成像、遥感成像、视频感知与监控等领域得到了广泛的应用与研究。本文简要介绍了图像超分辨率技术的研究背景与意义,同时概述了其基本原理评估...

    基于深度学习的图像超分辨率重建技术的研究

    图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像。随着人工智能的不断发展,超分辨率重建技术在视频图像压缩传输、医学成像、遥感成像、视频感知与监控等领域得到了广泛的应用与研究。本文简要介绍了图像超分辨率技术的研究背景与意义,同时概述了其基本原理及评估指标,然后着重介绍了基于深度学习的超分辨率重建技术的处理流程及几种具有代表性的超分辨率深度学习模型。

    1 超分辨率重建技术的研究背景与意义

    图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数,包括时间分辨率、空间分辨率及色阶分辨率等,体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像,高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。

    但在实际上中,受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束,我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。

    提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进,但这种做法受限于制造工艺难以大幅改进、制造成本十分高昂等约束。由此,从软件和算法的角度着手,实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。

    1955年,Toraldo di Francia在光学成像领域首次明确定义了超分辨率这一概念,主要是指利用光学相关的知识,恢复出衍射极限以外的数据信息的过程。1964年左右,Harris和Goodman则首次提出了图像超分辨率这一概念,主要是指利用外推频谱的方法合成出细节信息更丰富的单帧图像的过程。1984 年,在前人的基础上,Tsai和 Huang 等首次提出使用多帧低分辨率图像重建出高分辨率图像的方法后, 超分辨率重建技术开始受到了学术界和工业界广泛的关注和研究。

    具体来说,图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识,借由特定的算法和处理流程,从给定的低分辨率图像中复原出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制,导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。

    图像超分辨率重建技术在多个领域都有着广泛的应用范围和研究意义。主要包括:

    (1) 图像压缩领域

    在视频会议等实时性要求较高的场合,可以在传输前预先对图片进行压缩,等待传输完毕,再由接收端解码后通过超分辨率重建技术复原出原始图像序列,极大减少存储所需的空间及传输所需的带宽。

    (2) 医学成像领域

    对医学图像进行超分辨率重建,可以在不增加高分辨率成像技术成本的基础上,降低对成像环境的要求,通过复原出的清晰医学影像,实现对病变细胞的精准探测,有助于医生对患者病情做出更好的诊断。

    (3) 遥感成像领域

    高分辨率遥感卫星的研制具有耗时长、价格高、流程复杂等特点,由此研究者将图像超分辨率重建技术引入了该领域,试图解决高分辨率的遥感成像难以获取这一挑战,使得能够在不改变探测系统本身的前提下提高观测图像的分辨率。

    (4) 公共安防领域

    公共场合的监控设备采集到的视频往往受到天气、距离等因素的影响,存在图像模糊、分辨率低等问题。通过对采集到的视频进行超分辨率重建,可以为办案人员恢复出车牌号码、清晰人脸等重要信息,为案件侦破提供必要线索。

    (5) 视频感知领域

    通过图像超分辨率重建技术,可以起到增强视频画质、改善视频的质量,提升用户的视觉体验的作用。

    2 图像超分辨率重建技术概述

    2.1 降质退化模型

    低分辨率图像在成像的过程中受到很多退化因素的影响,运动变换、成像模糊和降采样是其中最主要的三个因素。如图1所示,整个过程可以通过使图示的线性变换模型来表征。

    图1 图像的降质退化模型

    上述退化模型可以由以下线性变换表示;

    L=DBFH+N                         (1)

    式中,L表示观测图像,H表示输入的高分辨率图像,F表示运动变换矩阵,通常由运动、平移等因素造成,B表示模糊作用矩阵,通常由环境或成像系统本身引起,D表示降采样矩阵,通常由成像系统的分辨率决定,N表示加性噪声,通常来自于成像环境或成像过程。

    图像降质退化模型描述了自然界中的高分辨率图像转换成人眼观测到的低分辨率图像的整个过程,即高分辨率图像成像逆过程,为图像超分辨率技术提供了坚实的理论基础。

    2.2 重建图像的评估

    为了衡量重建算法优劣,需要引入一种评估指标来对重建后的图像进行评估。重建图像的评价方式一般分为两大类,一是主观评价,二是客观评价。

    主观评价以人为评价主体,对重建后图像的视觉效果做出主观和定性的评估。为保证图像的主观评价具有一定的统计意义,此种评估方法需要选择足够多的评价主体,并保证评价主体中未受训练的普通人和受过训练的专业人员数量大致均衡。

    客观评价中,峰值信噪比(Peak signal-to-noise ratio ,PSNR)和结构相似性(Structural Similarity, SSIM)是最常用的两种图像质量评估指标。其中PSRN通过比较两幅图像对应像素点的灰度值差异来评估图像的好坏,SSIM则从亮度、对比度和结构这三个方面来评估两幅图像的相似性。具体计算公式如下:
    (2)
    (3)
    2.3 图像分辨率重建技术分类

    根据分类准则的不同,可以将图像超分辨率重建技术划分为不同的类别。从输入的低分辨率图像数量角度来看,可以分为单帧图像的超分辨率重建和多帧图像(视频)的超分辨率重建;从变换空间角度来看,可以分为频域超分辨率重建、时域超分辨率重建、色阶超分辨率重建等;从重建算法角度来看,可以分为基于插值的重建、基于重构的重建和基于学习的超分辨率重建。

    本节主要从算法内容出发,介绍几类常见的超分辨率重建技术。

    (1) 基于插值的超分辨率重建

    基于插值的方法将每一张图像都看做是图像平面上的一个点,那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程,这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解,但是也存在着一些明显的缺陷。

    首先,它假设像素灰度值的变化是一个连续的、平滑的过程,但实际上这种假设并不完全成立。其次,在重建过程中,仅根据一个事先定义的转换函数来计算超分辨率图像,不考虑图像的降质退化模型,往往会导致复原出的图像出现模糊、锯齿等现象。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。

    (2) 基于重构的超分辨率重建

    基于重构的方法则是从图像的降质退化模型出发,假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息,并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的基于重构的方法包括迭代反投影法、凸集投影法和最大后验概率法等。

    (3) 基于学习的超分辨率重建

    基于学习的方法则是利用大量的训练数据,从中学习低分辨率图像和高分辨率图像之间某种对应关系,然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像,从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码和深度学习方法。

    3 基于深度学习的图像超分辨率重建技术

    机器学习是人工智能的一个重要分支,而深度学习则是机器学习中最主要的一个算法,其旨在通过多层非线性变换,提取数据的高层抽象特征,学习数据潜在的分布规律,从而获取对新数据做出合理的判断或者预测的能力。

    随着人工智能和计算机硬件的不断发展,Hinton等人在2006年提出了深度学习这一概念,其旨在利用多层非线性变换提取数据的高层抽象特征。凭借着强大的拟合能力,深度学习开始在各个领域崭露头角,特别是在图像与视觉领域,卷积神经网络大放异,这也使得越来越多的研究者开始尝试将深度学习引入到超分辨率重建领域。2014年,Dong等人首次将深度学习应用到图像超分辨率重建领域,他们使用一个三层的卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系,自此,在超分辨率重建率领域掀起了深度学习的浪潮。

    基于深度学习的图像超分辨率技术的重建流程主要包括以下几个步骤:

    (1) 特征提取:首先对输入的低分辨率图像进行去噪、上采样等预处理,然后将处理后的图像送入神经网络,拟合图像中的非线性特征,提取代表图像细节的高频信息;

    (2) 设计网络结构及损失函数:组合卷积神经网络及多个残差块,搭建网络模型,并根据先验知识设计损失函数;

    (3) 训练模型:确定优化器及学习参数,使用反向传播算法更新网络参数,通过最小化损失函数提升模型的学习能力;’

    (4) 验证模型:根据训练后的模型在验证集上的表现,对现有网络模型做出评估,并据此对模型做出相应的调整。

     

    以下是几种常见的基于深度学习的超分辨率重建技术及其对比。

    (1) SRCNN

    SRCNN(Super-Resolution Convolutional Neural Network)是首次在超分辨率重建领域应用卷积神经网络的深度学习模型。对于输入的一张低分辨率图像,SRCNN首先使用双立方插值将其放大至目标尺寸,然后利用一个三层的卷积神经网络去拟合低分辨率图像与高分辨率图像之间的非线性映射,最后将网络输出的结果作为重建后的高分辨率图像。SRCNN的网络结构如图2所示。

     

    图2 SRCNN的网络结构

    (2) ESPCN

    与SRCNN不同,ESPCN (Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network)在将低分辨率图像送入神经网络之前,无需对给定的低分辨率图像进行一个上采样过程,得到与目标高分辨率图像相同大小的低分辨率图像。如图3所示,ESPCN中引入一个亚像素卷积层(Sub-pixel convolution layer),来间接实现图像的放大过程。这种做法极大降低了SRCNN的计算量,提高了重建效率。

     

    图3 ESPCN的网络结构

    (3) SRGAN

    与上述两种方法类似,大部分基于深度学习的图像超分辨率重建技术使用均方误差作为其网络训练过程中使用的损失函数,但是由于均方差本身的性质,往往会导致复原出的图像出现高频信息丢失的问题。而生成对抗网络(Generative Adversarial Networks, GAN)则通过其中的鉴别器网络很好的解决了这个问题,GAN的优势就是生成符合视觉习惯的逼真图像,所以SRGAN (Photo-Realistic Single Image SuperResolution Using a Generative Adversarial Network)的作者就将GAN引入了图像超分辨率重建领域。

    如图4所示,SRGAN也是由一个生成器和一个鉴别器组成。生成器负责合成高分辨率图像,鉴别器用于判断给定的图像是来自生成器还是真实样本。通过一个二元零和博弈的对抗过程,使得生成器能够将给定的低分辨率图像复原为高分辨率图像。


    图4 SRGAN的网络结构

    4 总结与展望

    深度学习在图像超分辨率重建领域已经展现出了巨大的潜力,极大的推动了该领域的蓬勃发展发展。但距离重建出既保留原始图像各种细节信息、又符合人的主观评价的高分辨率图像这一目标,深度学习的图像超分辨率重建技术仍有很长的一段路要走。主要存在着以下几个问题:

    (1)深度学习的固有性的约束。深度学习存在着需要海量训练数据、高计算性能的处理器以及过深的网络容易导致过拟合等问题。

    (2)类似传统的基于人工智能的学习方法,深度学习预先假定测试样本与训练样本来自同一分布,但现实中二者的分布并不一定相同,甚至可能没有相交的部分。

    (3)尽管当前基于深度学习的重建技术使得重建图像在主观评价指标上取得了优异的成绩,但重建后的图像通常过于平滑,丢失了高频细节信息。

    因此进一步研究基于深度学习的图像超分辨率技术仍有较大的现实意义和发展空间。

    参考文献

    1. Park S C, Park M K, Kang M G. Super-resolution image reconstruction: a technical overview[J]. IEEE signal processing magazine, 2003, 20(3): 21-36.

    2. Kim J, Kwon Lee J, Mu Lee K. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 1646-1654.

    3. Dong C, Loy C C, He K, et al. Image super-resolution using deep convolutional networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 38(2): 295-307.

    4. Shi W, Caballero J, Huszár F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 1874-1883.

    5. Ledig C, Theis L, Huszár F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[C]//CVPR. 2017, 2(3): 4.

    展开全文
  • 压缩等攻击的良好鲁棒性和更高的不可感知性。 在详细分析纠错编码对隐藏信息检测误码率影响的基础上,将CBH编码技术引入到 回声隐藏中,降低了隐藏信息检测的误码率,提高了算法的鲁棒性,并且总结归纳出了 使用纠错...

空空如也

空空如也

1 2 3
收藏数 55
精华内容 22
关键字:

压缩感知技术及应用