精华内容
下载资源
问答
  • deep detail network for derain
  • 北大去雨算法python版

    2018-10-19 09:20:50
    去雨算法的PYTHON实现, Rain streaks can severely degrade the visibility, which causes many current computer vision algorithms fail to work. So it is necessary to remove the rain from images. We ...
  • 使用多流密集网络的密度感知单图像去雨 , [](CVPR'18) 我们提出了一种新颖的基于密度感知的多流密集连接的卷积神经网络算法,称为DID-MDN,用于联合降雨密度估计和除雨。 所提出的方法使网络本身能够自动确定雨量...
  • 使用条件生成对抗网络进行图像去雨 [] [] 何章,Vishwanath Sindagi,Vishal M.Patel 在本文中,我们研究了解决单图像去水印问题的新观点。 我们不仅要确保决定什么是实现良好的定量和定性性能的良好先验或良好...
  • 针对传统图像去雨算法未考虑多尺度雨条纹及图像去雨后细节信息丢失的问题,提出一种基于多流扩张残差稠密网络的图像去雨算法,利用导向滤波器将图像分解为基础层和细节层。通过直接学习含雨图像细节层和无雨图像细节层...
  • Rain800数据集原本是拼接的两幅图在一起,不方便同时训练多个数据集的方式,因此对其进行了分割重组以方便使用。
  • 主要是用于去除雨点的代码,效果非常好,是用python写的
  • 基于深度学习框架 pytorch 实现的图像去雨代码,注释丰富适合新手学习,网络取得的效果也相对较好,代码针对图像去雨去雾去模糊等任务都是通用的。
  • 将训练之后的模型进行测试,对单幅图像进行相应的去雨
  • Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining
  • 机器学习去雾,去雨,去模糊
  • 提出一种基于深度学习(卷积神经网络)的图像去雨框架,取得的效果优于已经存在的绝大多数方法
  • 收集的公开的关于视频图像去雨的几种源代码,仅供大家学习参考,严禁商业使用,按照作者要求进行合理使用,视频图像去雨是近几年比较热门的研究方向,欢迎大家互相交流学习
  • 去雨,深度学习算法,目前最好的算法,可以直接跑
  • 去雨

    2018-03-03 20:43:33
    深度去雨--Deep Joint Rain Detection and Removal from a Single Image 图像去雨算法(基于卷积网络)将图像上雨水去除的四种主流方法两种方法解决图片的去雨(De-rain)问题 | CVPR2017视频图像去雨技术研究前沿...
    展开全文
  • 视频图像去雨技术研究前沿,徐波,朱青松,户外视觉系统越来越广泛地应用于军事、交通以及安全监控等领域,但是恶劣天气严重影响了系统的性能,而下雨是最频繁的恶劣天气之��
  • 基于多细节卷积神经网络的单幅图像去雨方法
  •  一个图像复原或分割的统一框架,可以用于去雾:fog:、去雨:cloud_with_rain:、去模糊、夜景:night_with_stars:复原、超分辨率:alien_monster:、像素级分割等等。   Highlights 特色功能 快速搭建baseline,只需...
  • 去雨探索

    千次阅读 2018-09-18 10:52:59
    图像视频去雨常用方法探索1.常用方法汇总1.1深度学习去雾去雨方法简介 1.常用方法汇总 1.1深度学习去雾去雨 深度学习去雨去雾11种方法梳理 图像除雨的轻量级金字塔网络机器学习 CVPR2017解读-Deep Joint Rain ...

    1.常用方法汇总

    1.1深度学习去雾去雨

    深度学习去雨去雾11种方法梳理
    ECCV北大开源去雨
    图像除雨的轻量级金字塔网络机器学习
    CVPR2017解读-Deep Joint Rain Detection and Removal from a Single Image
    CVPR2017解读两种方法解决图片的去雨(De-rain)问题
    图像去雨算法(基于卷积网络)
    将图像上雨水去除的四种主流方法
    视频图像中雨滴去除技术研究
    基于稀疏表示和频域方向滤波的图像雨雪去除算法
    ACM18人工智能去雨用于单图像去雨的非局部增强编码器解码器网络
    深度学习在处理视频上几种主要技术方法
    深度学习视频处理的详细方法
    ECCV2018

    1.2稀疏编码字典学习

    将图像上雨水去除的四种主流方法

    对应文章:(Luo Y, Xu Y, Ji H. Removing Rain from a Single Image via Discriminative Sparse Coding[C]// IEEE International Conference on Computer Vision. IEEE, 2016:3397-3405.)

    一个非常稀疏的C和一个最小基的集合D。这里的C我们叫做稀疏编码(sparse coder),这里的D我们叫做数据字典。

    一个矩阵,如果它有非常多个元素的值为"0",但是并不是全为零,而且这些零元素不是全部分布在一行上的,那么我们称这个矩阵是稀疏的。

    最小基是能够组成所有内容的最小组成部分。举个例子,将一张图片随机切割为一些小图片,然后从这些小图片中选一些图片,仅仅使用这些图片的倍数,就可以拼成原来的那张大图,则称这些小图片为这张大图的最小基集合,即数据字典

    通过观察测试的结果,我们可以认为这样的处理方法是非常有效的。但是它有一个缺点,就是当雨水和背景是非常相似的形状时,它是没办法分离开两者的(譬如带有雨水图案的墙壁和真实的雨水)(这有什么解决办法吗。。。)

    1.3基于图像处理的去雨方法

    链接同上
    对应文章:Single Image Haze Removal Using Dark Channel Prior

    首先,作者通过对图像的分析,发现了一个现象:在绝大多数非天空的局部区域里,某一些像素总会有至少一个颜色通道具有很低的值。换言之,该区域光强度的最小值是个很小的数。在这里,我们所说的颜色通道是指RGB三个颜色的通道。而且这个暗通道的数值应该是逼近于零的

    为了验证作者提出的这个理论,作者在论文中统计了5000多张图像的特性,发现基本符合了这一特征,因此,可以认定这是一条定理。

    可以发现,因为雾气的存在,暗通道值会变得非常的大,导致背景被遮挡住。

    大段数学推导,见上述链接,以及上述文章

    通过测试结果可以看到,本论文方法可以得到很好的效果,但是有一个缺点就是模型建立的太简单了,导致透射率太过粗糙。为了解决这个问题,该作者使用了导向滤波的方法求透射率,得到的结果非常好,而且速度非常快。

    1.4基于卷积神经网络的深度去雨

    见上述链接

    1.4.1什么是卷积神经网络(CNN)

    积神经网络是图像处理和视觉领域内非常热门的研究方向,因为CNN非常善于对图像的特征进行提取,是权值共享的,极大的减少了各层中的参数,从而能够很好的避免反向传播的时候出现梯度消失的现象。

    一个典型的卷积网络
    我们知道,每一层神经网络其实就是对一个输入的数据做了一个线性或者非线性的映射,类似于矩阵的乘法,每一个位置(神经元)都有一个权值,通过对输入的数据进行这样的映射后,就可以达到期望的效果。但是因为每一层都有非常多的神经元,同时神经网络可能有很多层,如果将一张2000*2000的图片传入这个神经网络,那么需要考虑的信息太多了,需要调整的参数也太多了,而且其中的一些参数对结果的影响是非常小的。所以为了解决这个问题,我们使用一个卷积核来对图像进行卷积操作。
    左边数输入的数据,中间是一个卷积核,右边是卷积核对输入图片的左上角进行卷积得到的结果。
    左边数输入的数据,中间是一个卷积核,右边是卷积核对输入图片的左上角进行卷积得到的结果。
    其实卷积核就是一个小的正方形矩阵,其大小、移动步数以及各个点的取值都是自定义的。所谓卷积操作,就是将这个卷积核在输入数据上滑动,滑动的同时,做点积运算,得到的结果就是一次卷积的结果:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    上图即使对输入数据的第一行进行卷积元算得到的结果。
    其实可以把卷积核当作一个刷子,它对图片进行了一次模糊处理,去除了个别部位不重要的极端数据,而是模糊过滤出了小范围内的整体特征。随着网络结构进一步加深,卷积核矩阵提取的特征会越来越复杂,这时候特征结果人类往往理解不了,但是这是机器自己学习的,对结果影响最大的特征。
    当对图片进行五层的卷积后,得到的特征结果
    上图可以看到,当进行到第五层卷积的时候,机器对图片中边缘上的无用信息都忽略掉了,仅仅留下了图中最独特的部分。
    那么如何使用卷积神经网络来进行去雨的操作呢?
    我们知道,对于一个深度学习来说,最主要的是三个步骤:
    模型:所谓模型的建立,就是如何对输入数据进行函数映射,得到需要的结果。在这里,一个卷积神经网络即是一个模型。
    损失函数:对于损失函数我们该如何确定呢,要知道其实损失函数就是一个强迫神经网络向着预期的结果方向进行学习的约束,现在我们手上有一张相同物体的无雨图和有雨图,我们希望这张有雨的图通过神经网络处理后输出的结果无限的逼近无雨的图,即:
    优化:反向传播后更新权值:
    在这里插入图片描述 反向传播是一个链式法则的使用,现在热门的深度学习语言tensorFlow和pytorch都已经把反向传播权值更新这一优化步骤封装成一个函数了,可以无脑直接使用,但是具体的推导步骤和反向传播在神经网络中的具体计算方法,请移步:点击这里。(并没有链接)
    现在利用卷积神经网络进行去雨的操作就变成了这样:
    不断的重复上述2,3步骤,直到权值变化为0或者小于一个阀值。
    在这篇论文中,作者使用这种方法进行了实验:
    Fu X, Huang J, Ding X, et al. Clearing the Skies: A deep network architecture for single-image rain streaks removal[J]. IEEE Transactions on Image Processing, 2016, PP(99):1-1.
    在这里插入图片描述
    作者发现,仅仅经过CNN并不能得到非常理想的结果,缩进后发现雨水的细纹仍然没有去掉。原因是作者的神经网络不够复杂,造成了函数欠拟合(under -fitting)的情况。
    自然而然的,我们会考虑建立一个更加复杂的模型来增加神经网络的适用性。一般来说有两种方法:1.通过增加隐含层(hidden layers)来增加神经网络的深度,一般情况下,增加深度可以使网络获取更加深层次的特征,但是去雨是一个低等级的图像处理任务,不需要获取深度的图形特征,所以没有必要增加隐含层,而且增加隐含层容易导致梯度归零,从而导致结果坏掉,所以这里文章没有采取这样的方法。
    可以看到,在增加深度后,结果反而变差了
    可以看到,在增加深度后,结果反而变差了
    另一种方法是不增加隐含层,而是在每一层中增加神经元的数量。然而这么做需要更多的训练集进行训练、更加耗时,并且很容易造成over-fitting的情况。
    为了解决这个问题,文章采取了使用"detail image"来进行训练的方式。
    通过一个low-pass filter(来自论文:K. He, J. Sun, and X. Tang, “Guided image filtering,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, no. 6, pp. 1397– 1409, 2013.),我们可以得到一个base图像,这个base图像有一个特征:无雨图和有雨图在经过low-pass filter后产生的base image是相似的。
    因为base图是相似的,所以我们可以仅仅训练detial图,然后将训练后的detail图加上 base图即可得到较好的结果。(公式详见上述链接)
    原因是当原图中去除base图的部分后,发现剩下的detial图是是非常稀疏的。
    稀疏的训练集可以让卷积神经网络更容易、更快的收敛。所以我们使用这样的方法是有效且合理的。
    接着训练神经网络,结构如下:
    在这里插入图片描述
    其中,有两层卷积神经网络,还有一层全连接网络。
    我们需要卷积神经网络来进行feature extracting, 通过全连接网络来进行Reconstruction. 这些结构和一般的CNN相似。
    在多次训练后得到输出,接着我们可以直接将输出与base图相加。
    从而得到去雨后的效果图。
    在这里插入图片描述
    在对在结果的分析中发现,该图很好的去掉了雨的线条,但是针对雨雾的处理并不是很理想,为了解决这个问题,该作者使用了一些增强对比度的算法,当然也可以在建模的过程中考虑到雨雾的影响

    展开全文
  • 提出一种非相干字典学习及稀疏表示方法,并将其应用于单幅图像去雨。该方法在字典学习阶段,为降低有雨原子与无雨原子间的相似性,引入字典的非相干性,构建新的目标函数,不仅可以保证有雨字典与无雨字典的可分性,...
  • 去雨方向工作概述(一)

    千次阅读 2019-12-02 17:18:57
    一个优秀的整理去雨文章的GitHub:戳我 较早以前的文章 这里大部分文章是传统方法或者视频去雨。 1.Automatic Single-Image-Based Rain Streaks Removal via Image Decomposition (2012 TIP) 基于图像分解的自动单幅...

    写在最前面:
    一个优秀的整理去雨文章的GitHub:戳我

    较早以前的文章

    这里大部分文章是传统方法或者视频去雨。

    1.Automatic Single-Image-Based Rain Streaks Removal via Image Decomposition (2012 TIP)
    基于图像分解的自动单幅图像雨纹去除

    1.文章做出了哪些成果?
    由于单幅图像去雨不像视频去雨那样可以利用图像之间的时间信息,问题具有一定的挑战性。
    本文主要提出了一种基于单幅图像的去雨框架,将去雨问题转化成基于形态成分分析(MCA)的图像分解问题。
    首先是使用双边滤波器将图像分解成高频以及低频成分,再通过字典学习稀疏编码将高频成分分解成为“雨成分”和“无雨成分”,从图像中删除雨成分,并保留大部分原始图像细节。

    2.前人成果有什么?改变了什么?改进的地方是什么?
    在之前的研究工作中,都是对视频进行处理,其中包括对雨纹的检测和去除以及在挡风玻璃等场景通过几何光等方式对雨点的检测。人们的一些改进是通过选择相机的参数、曝光时间、景深进行,或是通过时间、色彩特性的去除雨纹。
    工作将基于多个连续帧时间相关性的视频去雨转移到单一图像上来,以及使用SIFT、SURF、HOG等特征提取算子对特征进行了提取。

    本文的创新之处:
    (1)是最早实现雨条纹去除的方法之一,同时在单单幅图像中保留几何细节,不需要连续图像之间的时间或运动信息;
    (2)我们提出了首个基于MCA的自动图像分解框架,用于去除雨纹;
    (3)字典从图像中分解雨纹的学习是完全自动化和独立的,在字典学习阶段不需要额外的训练样本。

    3.框架

    在这里插入图片描述

    传统方法完成去雨处理。
    如图,输入一幅雨图,通过一个平滑滤波器分离成高频成分和低频成分,然后对高频成分也就是原始图像中的雨纹信息以及背景纹理信息进行处理,进行patch提取以及字典学习,再进行字典的划分,基于稀疏编码图像分解得到雨成分和无雨成分,将处理得到的无雨成分与之前的低频成分进行加和,得到去雨之后的结果图像。

    2.Restoring An Image Taken Through a Window Covered with Dirt or Rain (2013 ICCV)
    从布满灰尘或雨水的窗户拍摄图像的复原

    1.文章想要表达什么?做出了什么成果?

    本文提出了一个拍摄后的图像处理解决方案,可以去除单幅图像中局部的雨和污垢。
    我们收集了一个干净/损坏图像对的数据集,用于训练一种专门形式的卷积神经网络,网络学习了如何将损坏的图像映射到干净的图像并能隐式地捕捉污垢和水滴在自然图像中的特征外观。
    同时,还进行了室外条件下的灰尘及雨去除的演示。

    2.前人成果有什么?改变了什么?改进的地方是什么?

    对于从窗户中拍取到的包含有灰尘或雨水的图片,从图像中去除遮挡物的经典方法是在捕获时将其散焦到不可见的程度。这就需要把相机对着放玻璃和使用大口径产生小景深。然而,在实际操作中,很难将摄像头移动到足够近的距离,而且在智能手机摄像头或网络摄像头上可能无法实现光圈控制。同时,许多用智能手机相机透过肮脏或下雨的玻璃拍摄的照片仍有明显的人为痕迹。
    在这篇论文中,我们将拍摄后的图像进行恢复,将污物或雨水作为图像噪声的一种结构化形式。我们的方法只依赖于人工制品在空间上的紧凑性,这样就得到了雨/土的焦点的辅助——因此,拍摄时不需要靠近窗户。

    在我们的系统中,输入内核的支持是p1 = 16,输出支持是pL = 8。我们使用两个隐藏层(L = 3),每个有512个单位。如前所述,中间层内核支持p2 = 1。因此,W1应用大小为16×16×3的512粒,W2应用大小为512粒
    1×1×512,W3采用3粒大小为8×8×512的核。

    讲了一大堆,其实就是构造了一个三层卷积网络来模拟雨条纹。由于不能很好地模拟复杂的雨带分布,该方法的性能相对较低。
    古文读着真是头大。

    3.Utilizing local phase information to remove rain from video. (2015 IJCV)
    利用局部相位信息完成视频去雨

    主要提出了一种较为新颖的框架用于检测和去除视频中的雨纹。

    该框架的第一部分是基于相位一致性特征的雨纹检测技术。
    利用特征在帧间的变化来估计候选雨像素。为了减少由于全局运动而产生的候选帧数目,采用相位相关的方法对帧进行配准。
    该框架的第二部分是一种新的重建技术,它利用了来自三个不同来源的信息,即雨影响像素的强度、空间邻域和时间邻域。在最小化帧间配准误差的基础上,对雨影响像素的实际强度进行了优化估计。
    采用局部相位信息的光流技术进行配准,框架的这部分建模使得局部运动的存在不会扭曲重建视频的特征。并对各种复杂程度不同的视频进行了定量和定性的评估。通过计算重构视频单个帧的无参考图像质量测度,定量验证了算法的有效性。
    在这里插入图片描述
    在这里插入图片描述

    提出了一种改进的带全局运动补偿的基于相位一致性的雨纹检测算法,分别整合进时间及空间补偿。
    这篇文章主要是利用局部相位信息对视频中的雨纹进行去除,也是传统方法。

    4.Video Deraining and Desnowing Using Temporal Correlation and Low-Rank Matrix Completion (2015 TIP)
    使用时间相关性和低秩矩阵补全的视频去雨去雪

    本文主要提出了一种基于低秩矩阵补全的发掘视频序列时间相关性的去雨算法。该算法通过对前一帧和下一帧进行变形,并与当前帧进行比较,得到初始雨图。然后根据稀疏表示和分类去除异常点,对初始雨图进行细化。最后,利用基于EM的低秩矩阵补全算法对多雨像素进行补全,完成去雨处理。
    在这里插入图片描述

    5.Discriminative sparse coding: Removing rain from a single image via discriminative sparse coding (2015 ICCV)
    基于判别稀疏编码的单幅图像去雨

    本质上本文也是一种传统方法下的去雨,主要是使用了字典学习以及稀疏编码分理出雨层。
    文章提出了一种有效的单幅图像去雨算法,从雨图中分离出雨层和去雨的图像层。基于含雨图像的非线性生成模型,即屏幕混合模型,提出了一种基于字典学习的单幅图像去雨算法。其基本思想是在具有强互斥性的学习字典上,用非常高的识别码稀疏逼近两层的patch。这种判别稀疏码能将两层结构从非线性复合结构中准确分离出来。

    主要用到两种算法:
    字典学习K-SVD:K-SVD是一种经典的字典训练算法,依据误差最小原则,对误差项进行SVD分解,选择使误差最小的分解项作为更新的字典原子和对应的原子系数,经过不断的迭代从而得到优化的解。
    稀疏编码OMP:正交匹配追踪算法,以贪婪迭代的方法选择D的列,使得在每次迭代的过程中所选择的列与当前冗余向量最大程度的相关,从原始信号向量中减去相关部分并反复迭代,只到迭代次数达到稀疏度K,停止迭代。

    环境:MATLAB 2014a
    数据集:合成数据集及真实世界
    从UCID数据集中随机选取的200多幅室外图像添加雨效应,合成测试用的雨图像。雨效应通过加性复合模型或者屏幕混合模型生成。角度为从70◦到110◦

    创新之处:
    1、考虑了非线性屏幕混合模型建模的雨图像
    2、通过学习具有互斥性的字典,利用具有高识别率的稀疏编码,可以准确地分离出被剥离的图像层和雨层。
    3、开始使用PSNR和SSIM作为评价指标。

    存在问题:
    1、由于图像层的低通频率分量与雨层的低通频率分量之间的模糊性,在包含雨条纹的区域周围存在一些伪影。该方法不能完全解决低通信道中的模糊问题。
    2、当输入图像具有许多与雨滴相似的结构时,所提出的方法可能不能很好地工作;
    3、所提出的方法不适用于放大雨滴图像,如雨滴附着在玻璃上。

    6.Adherent raindrop modeling, detection and removal in video (2016 TPAMI)
    视频中附着雨滴的建模、检测及去除

    文章介绍了一种自动检测和去除附着雨滴的方法。其核心思想是利用雨滴的局部时域空间的导数。
    雨滴像素的运动比非雨滴像素慢,雨滴像素强度的时间变化比非雨滴像素小。
    我们去除雨滴的重要思想是利用连续几帧中检测到的线索和强度变化来解决混合函数,并对无法恢复的部分采用视频补全技术。
    首先利用物理定律对附着的雨滴进行建模,并结合输入视频的运动和强度时间导数来检测雨滴。在检测到雨滴后,根据雨滴部分区域完全遮挡,部分区域仅部分遮挡的分析,将其去除并恢复图像。对于部分遮挡区域,我们通过提取尽可能多的场景信息进行恢复,即利用时间强度导数对被检测到的部分遮挡区域求解混合函数。对于完全遮挡的区域,我们使用视频补全技术进行恢复。

    文章的创新之处:
    1、利用导数性质涉及较少参数对附着雨滴进行模型和分析。
    2、提出了一种基于运动和强度变化的像素检测方法。
    3、利用部分被遮挡区域的混合函数提出了一种相对快速的附着雨滴去除方法。

    7.Layer prior: Rain streak removal using layer priors (2016 CVPR, 2017 TIP)
    利用层先验的知识实现

    文章主要提出了一种对背景层和雨纹层都施加先验的方法。这些先验是基于高斯混合模型学习小块,可以适应各种背景外观以及雨纹的外观。为了进一步分离背景残基,提高分解质量,还引入了结构残基回收步骤。

    前人工作:
    把雨图描述成把一个雨纹层叠加在一个包含真实场景内容的背景层上,去雨也就是实现层分解问题。
    目前的解决方法有:稀疏编码字典学习、低秩矩阵
    存在问题:虽然会提高整体的可视性,但往往会在背景图像中留下太多雨纹或者背景图像过于平滑丢失细节

    创新之处:
    1、对背景和雨层都施加了约束。这些约束是简单高斯混合模型(GMMs)从图像块中学习得到的。
    2、GMM先验对分解框架的有用性,使我们可以不考虑雨条纹的方向、大小和尺度。
    3、恢复结构背景残差:提出了一个背景结构恢复步骤(BSR),用于检索不正确分配的雨层背景细节。使雨条纹层更加清洁,并进一步提高分离质量。

    对比方法:
    GF:a generic edge-aware smoothing filter, the guided filter
    SR:the sparse representation-based dictionary learning method
    LRA:the low-rank appearance method
    DSC:and the discriminative sparse coding approach

    数据集:来自 SR 方法数据集
    使用 Grag 和Shree提出的真实感绘制技术合成了一个包含12幅图像的新数据集,背景图像来自BSD300数据集。

    对于大雨时的雨痕:首先应用除雾方法,然后去除雨条纹。

    分页符

    展开全文
  • 这里是2017年一些顶会或顶刊上的一些去雨方向上的文章,做一个简略的记录。 2017 1.Error-optimized sparse representation for single image rain removal (2017 TIE) 基于误差优化稀疏表示的单幅图像去雨 文章...

    这里是2017年一些顶会或顶刊上的一些去雨方向上的文章,做一个简略的记录。

    这篇文章记录2017年的一些视频去雨或传统方法。

    2017

    1.Error-optimized sparse representation for single image rain removal (2017 TIE)
    基于误差优化稀疏表示的单幅图像去雨

    文章主要提出了一种基于误差优化稀疏表示模型(EOSR)的雨纹去除方法,也是一种传统方法。
    该EOSR模型从稀疏表示模型出发,考虑到动态的块误差约束,可以计算出每个图像块,然后利用非优势排序的遗传算法对每个patch进行优化,实现单幅图像雨斑去除的多目标追求。与以往基于字典分割的雨纹去除方法相比,该模型在优化了 patch 误差约束的基础上灵活地表示每个图像patch。
    EOSR模型的稀疏图像表示和误差优化稀疏重建:
    1、由稀疏表示原理,数据保真项的patch误差较大,因此图像表示更为平滑。该平滑表示使得在稀疏图像表示阶段,可以从测量的雨图像中去除雨条纹,生成一个潜在的无雨图像,使用动态patch误差约束。
    2、基于上述特点,在误差优化稀疏重建阶段,采用非优势排序的遗传算法(NSGA-II)对无雨图像进行多目标优化,得到纹理更明显、雨效果更小的无雨图像重建。

    之前的方法:稀疏编码、字典学习、低秩矩阵、层先验的方法
    创新之处:
    1、提出了一种基于误差优化的稀疏表示模型。
    2、可用于基于期望目标的图像重建,从而实现多目标追踪的稀疏表示计算。
    3、能够从单一图像中去除多雨效应。
    模型框架:
    在这里插入图片描述

    误差优化稀疏重建阶段使用的非优势排序遗传(NSGA-II)算法流程图:
    在这里插入图片描述

    实验数据:八张256x256的灰度图片
    对比对象:字典学习的两种方法
    对比指标:MSE、PSNR、SSIM、VIF视觉信息保真度

    2.Hierarchical: A Hierarchical Approach for Rain or Snow Removing in a Single Color Image (2017 TIP)
    基于分层方法的单幅彩色图像雨雪去除
    传统方法。
    文章主要使用图像分解和字典学习设计了一个三层的分层方案,用于提取高频成分中的图像细节。
    首先使用雨雪检测和指导滤波器的组合将输入图片分解为低频和高频成分,低频成分几乎没有雨雪,高频成分则包含了雨雪以及图像的细节。
    第一层:训练得到一个过完备的字典进行三次分类,利用雨雪的一些共同特征将高频分为雨雪和非雨雪成分
    第二层:对第一层得到的雨雪分量进行另一种雨雪检测和指导滤波的组合。
    第三层:计算不同颜色通道的方差灵敏度(SVCC),提高雨雪去除图像的视觉质量。

    文章主要内容:
    1、概述了雨和雪的几个共同特征,并定义了两个度量,即跨颜色通道的灵敏度(SVCC)和图像patch的主方向(PDIP)。
    2、利用雨雪检测与指导滤波器(低通滤波器)相结合的方法,得到了一个几乎无雨无雪的低频部分,而相应的高频部分则与低频部分形成互补。
    3、设计了一种从高频部分提取图像细节的三层结构。具体来说,第一层是基于训练字典(过完备)的3次分类,第二层是另一种雨雪检测与引导滤波的组合,第三层是利用SVCC增强雨雪去除图像的视觉质量。

    雨雪的三个共同特征:
    1、由于雨雪反射强烈,高强度值往往出现在受雨雪影响的像素处。因此,图像中雨雪像素的值通常大于相邻的非雨雪像素。
    2、边缘跳跃通常存在于雨带或雪花与其水平邻域之间的自然图像中。因此,一个包含雨雪的图像patch通常会产生较大的平均绝对水平梯度。
    3、由具体实例,高频部分的雨雪像素为灰色或浅白色,高频部分的雨雪像素的三个颜色通道的值几乎相同,雨雪像素的绝大多数颜色方差确实接近于零,而所选的非雨雪像素的方差则是跨越较大的像素范围。

    颜色通道方差灵敏度(SVCC,Sensitivity of Variance of Color Channels ) :
    由第三条特性,定义一个颜色通道来区分动态成分(雨雪)和其他成分的差异性。

    图像块的主成分方向 ( PDIP,Principal Direction of an Image Patch ) :
    雨纹通常有一致的下落方向。可用直方图定向梯度(HOG)分离雨纹。
    使用K-means方法,我们可以从一个图像中对雨或雪进行分类。
    将具有最大值的HOG bin对应的角度定义为图像patch (PDIP)的主方向,从而在我们的工作中识别雨雪。

    算法框架:

    总框架和step1:
    在这里插入图片描述

    step2:

    在这里插入图片描述

    字典原子和稀疏重建的分类:
    在这里插入图片描述

    3.Matrix decomposition: Video Desnowing and Deraining Based on Matrix Decomposition (2017 CVPR)
    基于矩阵分解的视频去雪去雨

    本文主要提出了一种基于矩阵分解的视频去雪去雨模型。
    强降雪降雨及动态场景难以解决的原因:
    1、现有方法中作的假设是所有的雪花和雨纹是稀疏的。
    2、现有方法不能区分移动的物体和雪花雨纹。
    雨纹划分+MRFs+组稀疏项
    文章主要内容:

    1. 对于暴雨场景,雨条纹具有复杂的光度和物理性质,单一的模型很难对所有雨条纹进行建模。因此,我们将降雨条纹分为稀疏条纹和密集条纹,并在矩阵分解框架中分别对它们进行建模。这个过程使我们的模型能够有效地应对暴雨。
    2. 在雨带的误导下,运动物体在雨景中很难被检测和过滤。基于背景波动和流量信息,我们将稀疏雨条纹和运动目标的检测方法表示为多标签MRFs。
    3. 由于检测错误或滤波不当,现有的方法往往会造成运动物体的变形和伪影。为了避免这个问题,我们设计了一个组稀疏项来过滤移动对象中的雨像素。

    一幅包含雨雪的图片构成:
    在这里插入图片描述

    4.Joint Convolutional Analysis and Synthesis Sparse Representation (2017 ICCV)
    联合卷积分析和合成稀疏表示的单幅图像层分离

    文章主要利用ASR和SSR的互补表示机制提出了一种联合卷积分析和合成(JCAS)稀疏表示模型。
    分析稀疏表示(ASR)和合成稀疏表示(SSR)是两种典型的基于稀疏的图像建模方法。
    图像在SSR中主要由非零系数来描述,而在ASR中主要由零指数来描述,这两种模型在对图像不同分量的逼近上有优势。
    采用卷积实现来更有效地利用图像的全局信息。
    在JCAS中,单个图像被分解成两层,一层由ASR近似表示图像的大尺度结构,另一层由SSR表示图像的细尺度纹理。在JCAS中自适应学习合成字典来描述不同的单幅图像层分离任务的纹理模式。
    ASR和SSR的互补特性使得所提出的JCAS能够有效地提取图像纹理层,而不需要对背景层进行过度平滑,可以灵活地对不同类型的图像结构进行建模。

    启发点:
    Starck等人利用一个总变分项和一个基于合成的稀疏重建项来进行卡通纹理分解。
    创新点:
    JCAS模型在SSR部分采用了卷积实现。卷积实现避免了传统SSR方法中的patch分割问题,并使所提出的方法仅从输入图像本身学习几个原子来对复杂(但高度重复的)纹理建模。

    文章主要内容:
    首先,我们分析了ASR和SSR模型的互补性质,并结合ASR和SSR将单个图像分解成具有明确物理意义的两层。JCAS模型有望为许多涉及图像层分离的应用提供基于稀疏的新方法的设计。
    其次,在没有外部训练数据的情况下,所提出的JCAS模型在去除雨条纹、高动态范围图像色调映射和对比度增强等不同任务上都取得了较好的效果。JCAS生成的结果不仅具有较高的定量指标,而且具有较好的视觉质量。

    对比了五种传统方法,数据选用了之前论文的十四张图片。

    5.Joint Bi-layer Optimization (2017 ICCV)
    基于联合双层优化的单幅图像雨纹去除

    文章主要提出了一种基于双层联合优化的单幅图像雨纹去除方法。
    首先分析含雨图像中的局部梯度统计,自动定位识别以雨纹为主的图像区域。
    在这些区域进行主导雨纹方向的估计,并提取除了一组雨纹主导的patch。
    然后在背景层B上定义两个先验,分别是基于集中式稀疏表示和基于雨的方向的估计。
    第三个先验定义在雨纹层R上,基于提取到的雨的patches及patches 的相似性。

    之前的方法:
    基于视频的方法利用帧间丰富的时间信息来定位和去除雨条纹
    单幅图像的方法要使用图像先验来恢复底层背景场景,如基于字典的稀疏先验、低秩先验,非局部自相似先验、,基于GMM的层先验。

    创新之处:
    1、首先,介绍了一种从输入图像中定位雨主导区域并估计雨条纹主导方向的自动方法。我们观察到雨条纹通常落在一个狭窄的方向带内,即使是大雨,我们分析了I中图像块上的梯度向量统计,识别出以雨条纹为主的场景区域,从这些区域,我们可以估计I中的降雨方向,提取雨斑来模拟降雨模式。
    2、提出了一种联合双层优化模型,通过以下三项先验迭代分离雨®和背景(B):
    (1):介绍了一个集中的稀疏表示(CSR)。在保留背景细节的同时,改善去除雨纹的性能。该算法融合了局部和非局部稀疏约束,通过构造具有窗口固有变化度量的制导图像来适应雨降过程。而以前的方法只使用局部稀疏性或非局部先验。
    (2):通过考虑像素梯度与降雨方向的角度偏差,构造了降雨方向先验。该先验建立在雨方向信息的基础上,通过检测以雨为主的场景区域自动提取雨的方向信息。以前的工作通过跟踪连续视频帧中雨条纹的移动来估计雨的方向,因此它们不能用于单图像雨条纹的去除。据我们所知,我们是第一个利用降雨方向先验进行单幅图像雨条纹去除的工作。
    (3):特别为R层引入了一层雨层,通过使用我们从雨占主导的区域自动提取的雨斑来平滑R中非雨条纹的背景细节。
    3、采用乘法器(ADMM)和迭代重权最小二乘法(IRLS)有效地解决了优化问题。

    提出了一种新的单幅图像雨条纹去除优化方法,该方法采用了几个新的组成部分:雨条纹方向的自动估计、新的模型正则化项和从背景中分离出的雨条纹,以及一种新的外观模型,它将非雨条纹的细节从雨层推回背景。

    对比方法:
    判别稀疏编码(DSC,discriminative sparse coding)、基于GMM的层先验(GMMLP, GMM-based layer prior)、联合雨的检测和去除(JORDER, joint rain detection and removal)、深度细节网络(DDN,deep detail network)

    数据集:
    合成数据集(D1),随机选取60幅图像BSDS 500数据集,对不同雨条纹方向的图像合成雨(使用Photoshop),并应用不同的方法去除图像中的雨。
    合成数据集(D2)是通过从BSDS 500数据集中随机选择30张其他图像,故意用密集的雨来构建的。

    6.Tensor based method (FastDeRain) (2017 CVPR)
    一种区别使用固有先验的基于向量的视频雨纹去除新方法

    本文主要是对雨纹和干净视频的本质区别特征进行了充分研究,提出了一种新的基于向量的视频雨纹去除方法,不需要雨的检测,也不需要字典学习。其中,雨纹方向沿雨滴方向稀疏光滑,而清晰视频沿雨的垂直方向光滑,沿时间方向具有全局和局部相关。我们使用l1范数来增强底层雨条纹的稀疏性,使用两个单向全变差(TV)正则化器来保证不同的判别平滑性,使用一个向量核范数和一个时间方向差算子来描述干净视频随时间的独家相关性。提出了一种基于变方向乘子法(ADMM)的简洁张量凸模型。

    在这里插入图片描述

    引入单向TV来利用空间先验。在时间上,无雨区与雨带、雨区相比,保持着较大的差异。干净的图像与雨区雨纹相比,在时间轴上相关性更强。因此,一个向量核范数和一个时间方向差分算子可以同时增强底层干净视频在时间方向上的全局和局部相关性。最后,我们考虑了雨带的稀疏性,并利用l1范数来保证其稀疏性。

    算法伪代码:

    在这里插入图片描述
    4.5.6.7是论文中几个公式,后续看的话看论文。

    对比方法:
    在这里插入图片描述

    分页符

    展开全文
  • 去雾-视频去雨

    2020-10-25 22:27:19
    为了缓解这一问题,Park等[36]进一步提出了通过估计像素的强度,然后用Kalman滤波递归去雨的方法,该方法在背景平稳的视频中表现良好。 后来,通过引入雨条纹的光学和物理特性,Brewer等人[37]提出先识别出现短时间...
  • 去雨总结(更新中)

    千次阅读 2020-01-06 19:00:05
    单张图像去雨问题 定义 常用数据集 指标 雨水模型 全监督方法 采用多阶段的方式或encoder-decoder的架构,用全卷积学习雨图到无雨图的映射或残差。目前论文中使用的模块大致可看作分别用于解决两个问题:定位雨水和...
  • 版权: 本文由【墨理学AI】原创、在CSDN首发、如需转载,请联系博主 ❤️ 如果文章对你有帮助、欢迎一键三连 该博文旨在带你了解如何使用深度学习进行图像恢复【去雨、去噪、去模糊】,【❤️ 基准测试、实战教程 ❤...
  • 图像去雾去雨去模糊去噪

    万次阅读 多人点赞 2018-11-02 15:03:44
     接下来即将进行的工作是图像去除雨滴,去雾,去除噪声,尘土和模糊等都是这一类的,图像复原(低级图像处理/视觉任务)。采用生成对抗网络和感知损失进行这类研究的有相当一部分。下面进行...
  • 文献[1]受到ResNet的启发,建立卷积神经网络从条的退化图像中复原清晰图像。文章在去除条时创新点主要体现在两个方面: 1) 提出Negative Residual Mapping(Neg-mapping),用于刻画清晰图像和退化图像间的...
  • 对有雨图片进行单幅图像去雨,采用传统的卷积神经网络,并对其进行改进
  • 由于图像中的雨线条纹具有不同形状、尺寸且分布不均匀,单一神经网络学习分布不均匀的雨密度能力弱,去雨效果不显著,对此提出雨密度感知引导扩张网络对单张图片去除雨的方法。网络分为两部分:(1)雨密度感知网络对...
  • 本文盘点CVPR 2020 所有图像去雨、去雾、去模糊的论文。去雨示意图:去雾示意图:去模糊示意图:作为底层图像处理任务,这三个方向有共同特点:现有技术无法真实模拟下雨、起雾、模糊,导致...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 109,179
精华内容 43,671
关键字:

去雨