精华内容
下载资源
问答
  • (1)对传统图像去雾领域的一些典型去雾算法进行深入分析,并与基于深度学习的图像去雾算法进行性能对比分析。本文在经典图像去雾数据集 RESIDE 和 O-HAZE 上进行实验,并采用无参考图像质量评估指标以及运行时间来...
  • 提出了一种基于深度学习的单幅图像去雾算法。利用卷积神经网络,通过学习雾天图像与清晰图像的YUV(Y代表的是亮度,UV代表的是彩度)各个通道之间的映射关系实现去雾。网络结构由两个相同的特征模块组成,主要包括多尺度...
  • 本人现在是国内某211大学博士研究生,刚入学1个多月,把深度学习和图像处理做为自己的研究方向,从图像去雾算法开始看起。 说到图像去雾算法,不得不提大牛何凯明博士,圈内都知道他的: 何凯明博士,本科毕业于...

    图像去雾算法学习笔记1——何凯明博士基于暗通道先验的单幅图像去雾算法公式推导

    首先简单自我介绍一下,本人现在是国内某211大学2019级博士研究生,计算机科学与技术专业,研究方向和兴趣包括深度学习(CV)、图像处理、菌群仿生优化算法、元胞自动机等,愿与大家分享自己的学习心得!现刚入学1个多月,先从图像去雾算法开始学起。
      说到图像去雾算法,不得不提大牛何凯明博士,圈内都知道他的:
    何凯明博士,本科毕业于清华大学基础科学班。他是2006年微软小学者奖学金获得者之一,同时也是2003年广东省高考状元。2007年清华大学毕业之后开始在微软亚洲研究院(MSRA)实习,2011年香港中文大学博士毕业后正式加入MSRA,目前在Facebook AI Research (FAIR)实验室担任研究科学家。曾以第一作者身份拿过两次CVPR最佳论文奖Best Paper Award (2009和2016)——其中2016年CVPR最佳论文为图像识别中的深度残差学习(Deep Residual Learning for Image Recognition)。
         我现在看的是他2009年的CVPR论文:《Single Image Haze Removal Using Dark Channel Prior》在中国知网、百度学术上都有下载的。CVPR的中文名是计算机视觉与模式识别会议,是计算机视觉领域最顶尖的国际会议之一。2009年的CVPR共收到约1450篇投稿,其中393篇文章被接收,接收率为26%。只有一篇文章被选为那年的最佳论文。这是CVPR创立25年以来首次由中国人获得这个奖项。这篇文章是他在微软亚洲研究院形象计算组实习的时候完成的,也是他个人真正意义上写的第一篇论文。
    他根据Dark Object Subtraction原理通过大量实验发现局部找最暗点进行均匀去雾有很好的效果。
       由此得到对于一个无雾图像,每个局部区域都很有可能有一些暗的地方,换言之,至少一个颜色通道会有很低的值、或黑色东西。
    看了他的论文,准备写点笔记,这是我的第一篇笔记。


    一、简单有效的图像去雾技术

        这篇论文研究的问题是图像的去雾技术,它可以还原图像的颜色和能见度,同时也能利用雾的浓度来估计物体的距离,这些在计算机视觉上都有重要应用(例如三维重建,物体识别)。但是之前人们还没找到简单有效的方法来达到这个目的。在这篇论文里,他们找到了一个非常简单的,甚至说令人惊讶统计规律,并提出了有效的去雾方法。

       与之前的方法不同,他们把注意力放到了无雾图像的统计特征上。他们发现,在无雾图像中,每一个局部区域都很有可能会有阴影,或者是纯颜色的东西,又或者是黑色的东西。因此,每一个局部区域都很有可能有至少一个颜色通道会有很低的值。他们把这个统计规律叫做Dark Channel Prior(暗通道先验或暗原色先验)。直观来说,Dark Channel Prior认为每一个局部区域都总有一些很暗的东西。这个规律很简单,但在他们研究的去雾问题上却是本质的基本规律。

         由于雾总是灰白色的,因此一旦图像受到雾的影响,那么这些本来应该很暗的东西就会变得灰白。不仅如此,根据物理上雾的形成公式,他们还能根据这些东西的灰白程度来判断雾的浓度。因此,他们提出的Dark Channel Prior能很有效地去除雾的影响,同时利用物的浓度来估算物体的距离(深度)。

         简单理解:仔细想想我们可以确定有这样一个统计规律:对于大多数没有雾的图像来说,它的任意一个像素点中的R,G,B值至少有一个是非常低的;(这个挺好理解的,如果R,G,B值都偏高,那么该像素显然有向白色过度的趋势)把每个像素中“偏暗”的值(通道)以一定的方式集合起来就构成了一幅图片的暗通道图;正式基于这样的一个想法和统计的规律(可以把这个统计规律当作一条定理),何博士提出了去雾的算法,该算法在大量的户外有雾图片的应用中得以验证其准确性;并且在去雾的过程中,他们也同时得到了原图的景深图片,因为雾的厚度一定程度上代表了景深。

    为了验证上述提到的统计规律,何博士对5000张无雾图的暗通道的强度进行了统计,可以发现暗通道图中大部分像素都是0,而且全部像素都集中于0-50之间,可以说暗通道图是稀疏的,这一点对于我们下边的公式推导至关重要

    在这里插入图片描述


    二、相关背景和公式
        看了何凯明博士的这篇论文,以及我近期看的其他论文,我总结了图像去雾的三种方法:
    1、图像增强技术。常用于雾天图像清晰化处理的图像增强方法,包括直方图均衡、对数变换、幂律变换、锐化、小波变换等,这些都是图像处理中常用来提高对比度或者突出图像特征的方法。但严格的说,这一类方法并不研究雾气对图像影响的原理,并非去除图像中的雾,而是应用图像增强方法,对图像作清晰化处理。
    2、基于物理模型的图像去雾算法对图像进行复原。图像复原通过分析雾图降质机理,建立图像散射模型(即建立方程),充分利用图像退化的先验知识或假设,实现场景复原(即求解方程)。说到这里,就不得不提经典的描述有雾图像的散射模型:
    在这里插入图片描述
    其中t(x)可以表示为:
    在这里插入图片描述
    0<=t(x)<=1
    这个模型也是何凯明博士的这篇论文中用到的。
    3、还有就是基于最近几年火爆的深度学习方法。如利用随机森林学习回归模型估计透射率的值,利用卷积神经网络构造端到端的去雾网络等。这个是我下一步的研究方向啊。

    三、我目前学习的主要方法:基于物理模型的去雾算法复原图像
          对于上面的描述有雾图像的散射模型,其中x为像素空间坐标,I(x)为观测的强度,也就是理解为实际拍摄的有雾图像,J(x)为场景辐射,也就是理解为清晰无雾的图像(就是我们要复原的清晰图像),t是介质传输率,描述的是未被大气颗粒物(雾、霾等悬浮颗粒)散射而到达照相机的那部分光,A是全局大气光,也就是整体大气光值,可以理解为就是太阳光。J(x)t(x)称为直接衰减项,描述了场景辐射照度在介质中的衰减,它随场景深度呈指数性衰减,A(1-t(x))称为大气光幕,用来描述场景成像中加入的大气散射光,这个部分是太阳光经过微粒散射之后参与到成像光路中的部分,它造成了场景的模糊和颜色的失真。这个模型我们要做到的去雾就是从实际拍摄得到的I(x)去求解出J(x)、A和t。 很明显,如果对于一个含N个像素的彩色图片,每个像素有3个通道(RGB)值,那一共就有3N个方程式,但是未知量包括3N个J(x)、N个t(x)、3个A值,一共是4N+3个未知量,用3N个方程解4N+3个未知量,明显就是个“病态方程”。但目前的研究都不是精确的求解,因为这是一个多未知数的“病态方程”,我们只能去估计参数A和t(x),最关键的就是估计介质传输率t(x),然后从I(x)中恢复J(x).
            下面对这个散射模型两边对x求梯度(偏导)得到:
    在这里插入图片描述
             这里面是对一个色块(patch)求的,其中假设t是均匀的,所以t和x无关,就直接作为系数提出来,然后A(1-t(x))与x无关就变成了0,又当t<1时,所以得到了上式。原文的描述: For a patch with uniform transmission t, the visibility (sum of gradient) of the input image is reduced by the haze since t<1。The transmission t in a local patch is estimated by maximizing the visibility of the patch under a constraint that the intensity of J(x) is less than the intensity of A.
    四、何凯明博士这篇论文的核心思想——暗通道先验
        首先看看暗通道先验是什么:
        在绝大多数非天空的无雾图像的局部区域里,某一些像素总会有至少一个颜色通道具有很低的值。换言之,该区域光强度的最小值是个很小的数。我们给暗通道一个数学定义,对于任意的输入图像J,其暗通道可以用下式表达:
    在这里插入图片描述
    式中JcJ^c表示彩色图像的每个通道 ,Ω(x)表示以像素X为中心的一个窗口,代表像素点X周围的小区域即滤波器。等式左边即为暗通道图,等式右边:C代表R,G,B中的某一通道,x代表图中某一像素点; 这个公式的意义用代码表达也很简单,首先求出每个像素RGB分量中的最小值,存入一副和原始图像大小相同的灰度图中,然后再对这幅灰度图进行最小值滤波(下一篇博文我将介绍滤波的原理),滤波的半径由窗口大小决定,一般有WindowSize = 2 * Radius + 1;
    这个公式的意思可以这样理解:首先取原图每一个像素点中最小的通道值,这样就可以得到一副灰色的图了,然后对这个灰色的图进行最小值滤波(滤波窗口代表了Ω(X))就得到了暗通道图。

         暗通道先验的理论指出:
    在这里插入图片描述
         实际生活中造成暗通道中低通道值主要有三个因素:a)阴影等。汽车、建筑物和城市中玻璃窗户的阴影,或者是树叶、树与岩石等自然景观的投影;b)色彩鲜艳的物体或表面等,在RGB的三个通道中有些通道的值很低(比如绿色的草地/树/植物,红色或黄色的花朵/叶子,或者蓝色的水面);c)颜色较暗的物体或者表面,例如灰暗色的树干和石头。总之,自然景物中到处都是阴影或者彩色,这些景物的图像的暗原色总是很灰暗的。原文的表述:The low intensity in the dark channel is mainly due to three factors: a) shadows, e.g., the shadows of cars, buildings, and the inside of windows in cityscape images, or the shadows of leaves, trees, and rocks in landscape images; b) colorful objects or surfaces, e.g., any object with low reflectance in any color channel (for example, green grass/tree/plant, red or yellow flower/leaf, and blue water surface) will result in low values in the dark channel; c) dark objects or surfaces, e.g., dark tree trunks and stones. As the natural outdoor images are usually colorful and full of shadows, the dark channels of these images are really dark!
    论文中列举的暗通道图:
         作者随机选取了5000张无雾图片,并手工切除了天空区域,重新调整图像大小,使得最大宽度和高度像素为500像素,并使用1515的色块大小去计算暗通道。
         原文描述:Among them, we randomly select 5,000 images and manually cut out the sky regions. The images are resized so that the maximum of width and height is 500 pixels and their dark channels are computed using a patch size 15
    15. Fig. 4 shows several outdoor images and the corresponding dark channels.
    在这里插入图片描述
         由上述几幅图像,可以明显的看到暗通道先验理论的普遍性。在作者的论文中,统计了5000多副图像的特征,也都基本符合这个先验,因此,我们可以认为这其实时一条定理,但是基于统计得出的结论。 有了这个先验,接着就需要进行一些数学方面的推导来最终解决问题。
    五、用这个暗通道先验解上面那个“病态方程”
    重新拿出这个要求解的病态方程-大气散射模型:
    在这里插入图片描述
    稍作变形(归一化):
    在这里插入图片描述
    上标C表示R/G/B三个通道的意思。
         首先假设在每一个窗口内透射率t(x)为常数,定义他为t~(x)\tilde{t}(x) ,并且A值已经给定,然后对上式两边求两次最小值运算(用的是最小值滤波),得到下式:
    在这里插入图片描述

    上式中,J是待求的无雾的图像,根据前述的暗通道先验理论有:
    在这里插入图片描述
    因此,可推导出:
    在这里插入图片描述
    把这个公式带入到上面的最小值滤波后的公式得到:

    在这里插入图片描述
    这就是透射率t的预估值。
         在现实生活中,即使是晴天白云,空气中也存在着一些颗粒,因此,看远处的物体还是能感觉到雾的影响,另外,雾的存在让人类感到景深的存在,因此,有必要在去雾的时候保留一定程度的雾,这可以通过在式(11)中引入一个在[0,1] 之间的因子,则上面的公式修正为:
    在这里插入图片描述
    该论文中所有的测试结果依赖于: ω=0.95。

         上述推论中都是假设全球达气光A值时已知的,在实际中,我们可以借助于暗通道图来从有雾图像中获取该值。具体步骤如下:
    1) 从暗通道图中按照亮度的大小取前0.1%的像素。

    2) 在这些位置中,在原始有雾图像I中寻找对应的具有最高亮度的点的值,作为A值。 到这一步,我们就可以进行无雾图像的恢复了。大气散射模型公式可知: J = ( I - A)/t + A
    现在I,A,t都已经求得了,因此,完全可以进行J的计算。
    当投射图t 的值很小时,会导致J的值偏大,从而使淂图像整体向白场过度,因此一般可设置一阈值T0,当t值小于T0时,令t=T0,本文中所有效果图均以T0=0.1为标准计算。
         因此,最终的恢复公式如下:
    在这里插入图片描述
           要获得更为精细的透射率图,何博士在文章中提出了了soft matting方法,能得到非常细腻的结果。 以下是他论文中的效果图:  
    在这里插入图片描述
    交流扣扣群:533209464(备注“学习”),如果大家有需要,我就录制完整的去雾算法视频讲解课程
    在这里插入图片描述

    展开全文
  • 图像去雾的目的是消除雾霾环境对图像质量的影响,增加图像的可视度,是图像处理和计算机视觉领域共同关切的前沿课题,吸引了国内外研究人员的广泛关注。其方法主要可以分为两种,一种是基于大气退化模型,利用神经...

    301d0698f7c677dbb75e8bdb454ba9c0.png

    图像去雾的目的是消除雾霾环境对图像质量的影响,增加图像的可视度,是图像处理和计算机视觉领域共同关切的前沿课题,吸引了国内外研究人员的广泛关注。

    其方法主要可以分为两种,一种是基于大气退化模型,利用神经网络对模型中的参数进行估计,早期的方法大多数是基于这种思想的;另一种是利用输入的有雾图像,直接输出得到去雾后的图像。目前最新的去雾方法更倾向于后者。

    在本部分,将对近三年具有代表性的一些基于神经网络的图像去雾方法进行列出,便于大家查找。

    【1】DehazeNet: An End-to-End System for Single Image Haze Removal 华南理工大学 16 TIP

    它是一种端到端的训练模型,利用神经网络来对大气退化模型中的t(x)进行估计。模型输入雾图,输出传输率t(x)映射图,然后通过大气退化模型来恢复无雾图像。采用深度CNN结构(4层),并提出了一种新的非线性激活函数。提高了恢复图像的质量。作者:lishuoshi1996

    【2】All-in-One Network for Dehazing and Beyond Boyi Li 2017 ICCV

    本文并没有单独估计t(x)和大气光A,而是通过轻量级的CNN直接生成清晰的图像,这种端到端的设计使得其可以嵌入到其他的模型中,比如说物体检测faster-RCNN。

    【3】Densely Connected Pyramid Dehazing Network Rutgers University 2018 CVPR

    作者的总体思路依旧是按照大气退化模型来进行的,作者指出,以往的方法较为侧重对传输图t(x)的估计,对于大气散射A,往往采用经验公式去估计,没有对A足够的重视,所以作者对二者均进行了估计。

    【4】Gated Fusion Network for Single Image Dehazing 2018 CVPR

    本文提出一种基于门限融合网络的雾霾图像的复原方法。该门限融合网络由一个编码解码网络构成。其中,编码网络用于对雾霾图像本身及其多种变换图像进行特征编码,解码网络则用于估计这些变换图像对应的权重。

    具体而言,对一张雾霾图像,作者对其进行多种变换,包括图像白平衡、对比度增强和伽马矫正等操作提取图像内部的不同颜色或对比度特征,然后将得到的变换图像输入到门限融合卷积神经网络中,利用神经网络对雾霾图像的每个变换图像估计一个权重矩阵,再利用权重矩阵对所有的变换图像进行融合获得最终的去雾结果图。

    另外,为了去除恢复结果中容易出现的光晕效应(halo artifacts),作者提出了多尺度门限融合网络,可以有效增加网络感知野并减少光晕效应。

    【5】Gated Context Aggregation Network for Image Dehazing and Deraining 2019 WACV

    本文利用GAN网络,实现可端到端的图像去雾,本文的重点在于解决了网格伪影(grid artifacts)的问题,该文章的方法在PSNR和SSIM的指标上,有了极大的提升,非常值得借鉴。

    【6】Towards Perceptual Image Dehazing by Physics-based Disentanglement and Adversarial Training 2018 AAAI

    作者认为,之前的基于先验知识的去雾,缺点在于先验知识不是在任何情况都满足的(比如说多光源,大雾),并且不是监督训练的,而基于CNN的去雾需要训练集是成对的,即同时有有雾图像与无雾图像,而一个有效的去雾模型应该能够学习无雾图像到有雾图像的映射,无需使用paired supervision。

    【7】Cycle-Dehaze: Enhanced CycleGAN for Single Image 2018 CVPRW

    这篇文章是基于《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》来做改进的,前者设计了一个循环的对抗网络学习图像风格的迁移,使用不成对的图像来训练网络。

    【8】Single Image Haze Removal using a Generative Adversarial Network

    【9】Perceptually Optimized Generative Adversarial Network for Single Image Dehazing

    本文同样采用端到端学习的方式,直接学习hazy image到haze-free image的映射。

    通过GAN模型的生成对抗训练网络。在Discriminator中使用了一种adaptive loss function。

    提出一种利用guilded filtering进行halo artifacts removal的后处理方法

    【10】Physics-Based Generative Adversarial Models for Image Restoration and Beyond

    【11】Towards Perceptual Image Dehazing by Physics-Based Disentanglement and Adversarial Training

    【12】Single Image Dehazing via Conditional Generative Adversarial Network

    【13】Multi-Scale Single Image Dehazing Using Perceptual Pyramid Deep Network

    若想深入了解以上去雾算法,可以下载其具体文献进行研学,若有代下载的需要可以邮箱联系我cxtalk@outlook.com。

    展开全文
  • 去雾算法总结(传统+深度学习

    千次阅读 2020-07-05 19:49:40
    目录 传统的去雾方法 1.Single Image Haze Removal Using Dark Channel Prior 何凯明 2009 CVPR ...基于深度学习的图像去雾方法 1. DehazeNet: An End-to-End System for Single Image Haze Removal 华南理工大学 ..

    目录

    传统的去雾方法

    1.Single Image Haze Removal Using Dark Channel Prior  何凯明  2009 CVPR

    2. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior 2015 TIP

    基于深度学习的图像去雾方法

    1. DehazeNet: An End-to-End System for Single Image Haze Removal 华南理工大学 16 TIP

    2. All-in-One Network for Dehazing and Beyond  Boyi Li  2017 ICCV

    3.Densely Connected Pyramid Dehazing Network  Rutgers University  2018 CVPR

    4. Gated Fusion Network for Single Image Dehazing 2018 CVPR

    5.Gated Context Aggregation Network for Image Dehazing and Deraining 2019 WACV

    6.Towards Perceptual Image Dehazing by Physics-based Disentanglement and Adversarial Training 2018 AAAI

    7.Cycle-Dehaze: Enhanced CycleGAN for Single Image 2018 CVPRW


    光在雾、霾等介质中传播时,由于粒子的散射作用导致成像传感器采集的图像信息严重降质,在很大程度上限制了图像的应用价值。图像去雾的目的是消除雾霾环境对图像质量的影响,增加图像的可视度,是图像处理和计算机视觉领域共同关切的前沿课题,吸引了国内外研究人员的广泛关注。

    本文主要对近期的一些去雾方法进行简要介绍总结。

    传统的去雾方法

    传统的去雾方法主要是基于先验知识的,主要有何凯明等人暗通道先验(Dark Channel Prior,DCP)方法,Tan等人最大对比度(Maximum Contrast,MC)方法,Zhu等人的颜色衰减先验(Color Attenuation Prior,CAP)方法, Ancuti等人的色度不一致方法。

    在这些方法中,最著名的是09年CVPR的best paper,何凯明的暗通道先验方法,本部分将对暗通道先验方法以及颜色衰减先验方法进行介绍。

    1.Single Image Haze Removal Using Dark Channel Prior  何凯明  2009 CVPR

    本文是所有的去雾方法里面最经典的一篇,本文是09年CVPR的best paper。作者何凯明提出了一种暗通道先验的方法来进行去雾操作。基于暗通道先验的去雾算法实际上是一种统计意义上的算法,作者总结了大量的室外无雾的图像,发现了在无雾图像中局部区域存在一些像素,这些像素中至少有一个颜色通道的亮度值非常非常低(低亮度值区域不包括天空区域)。关于此文的介绍网上非常多,这里就不做介绍了。

    参考链接

    1. https://zhuanlan.zhihu.com/p/28875405

    2.  https://zhuanlan.zhihu.com/p/36785699

    3. http://blkstone.github.io/2015/08/20/single-image-haze-removal-using-dark-channel/

    4.  http://www.cnblogs.com/Imageshop/p/3515871.html

    5.  http://www.cnblogs.com/Imageshop/p/3281703.html

    6.  https://blog.csdn.net/songhhll/article/details/12612681

    7.  https://blog.csdn.net/u013080652/article/details/42706301

    8.K. He, J. Sun, and X. Tang, “Single image haze removal using dark channel prior,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 12, pp. 2341–2353, 2011.

    2. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior 2015 TIP

    和暗通道类似,这个color attenuation prior算法本质上也是一种统计上的发现。

     之所以对于单图像进行去雾处理是一个较难的内容是因为一个图像中包含的关于场景结构等信息非常少,因此很难获得较为全面的信息从而进行去雾。

    然而,大脑在面对一幅图像的时候其实是可以很快的分辨清楚哪里有雾、哪里没有,或者很快分辨清楚近景、远景而不需要其他太多的资料。

    作者基于这一思考,通过对很多副有雾图像进行分析发现了统计意义上的结论从而提出一个新的思路,通过对很多图像的远景、中景、近景进行分析发现了haze的浓度与亮度和饱和度之差呈正比。

    这种方法的基本原理,依然是基于大气退化模型的

    大气退化模型

    由上式分析可以得到:

    (1)直接的衰减会导致反射能量的减弱,导致亮度的低值。即公式中 J(x)t(x)

    (2)大气光成分会增强brightness的值并且降低饱和度saturation。

     总结下来,即为,当雾的程度越大,大气光成分的的影响越大。因此,我们可以考虑通过研究saturation和brightness之间差来分析雾的浓度。

    写成表达式的形式,即为

    其中 d(x) 为景深,c(x) 是雾的浓度,v(x), s(x) 分别是value of brightness of scene,以及saturation。这个公式就是color attenuation prior(CAP)。作者通过构建训练样本采集了超过500张图像,最后得出了合适的参数。最终公式形式如下

    最终的参数结果为

    参考链接

    1. Q. Zhu, J. Mai, and L. Shao, “A fast single image haze removal algorithm using color attenuation prior,” IEEE Transactions on Image Processing, vol. 24, no. 11, pp. 3522–3533, 2015.

    2. https://zhuanlan.zhihu.com/p/28942127

    基于深度学习的图像去雾方法

    由于神经网络在检测,识别等任务上的取得了很大的进展,所以研究人员开始尝试用基于深度学习的方法取代传统的图像去雾方法。

    其方法主要可以分为两种,一种是基于大气退化模型,利用神经网络对模型中的参数进行估计,早期的方法大多数是基于这种思想的;另一种是利用输入的有雾图像,直接输出得到去雾后的图像。目前最新的去雾方法更倾向于后者。

    在本部分,将对近三年具有代表性的一些基于神经网络的图像去雾方法进行介绍。

    1. DehazeNet: An End-to-End System for Single Image Haze Removal 华南理工大学 16 TIP

    本文是是较早的一篇利用深度学习进行去雾的文章。

    它是一种端到端的训练模型,利用神经网络来对大气退化模型中的t(x)进行估计。模型输入雾图,输出传输率t(x)映射图,然后通过大气退化模型来恢复无雾图像。采用深度CNN结构(4层),并提出了一种新的非线性激活函数。提高了恢复图像的质量。

    该文章算法贡献如下:

    1. end2end系统,直接学习并估计传输率与有雾图像的关系。

    2. 提出nonlinear激活函数,称为BReLU(双边ReLU)。

    3. 分析了DehazeNet与已有去雾技术之间的关系。

    作者首先对大气退化模型进行了介绍,然后对几种传统的去雾方法进行了介绍:

    (1)暗通道先验(Dark Channel Prior,DCP)

    文献:He等人的暗通道先验

    (2)最大对比度(Maximum Contrast,MC)

    文献:Tan等人的Visibility in bad weather from a single image

    (3)颜色衰减先验(Color Attenuation Prior,CAP)

    文献:Zhu等人的A fast single image haze removal algorithm using color attenuation prior

    (4)色度不一致

    文献:Ancuti等人的A fast semiinverse approach to detect and remove the haze from a single image

    网络结构

    作者想要结合前面的四种传统方法,进行网络设计,网络结构主要分为4部分

    (1)特征提取(Feature Extraction)

    (2)多尺度映射(Multi-scale Mapping)

    (3)局部极值(Local Extremum)

    (4)非线性回归(Non-linear Regression)

     

    网络结构

    1)特征提取(Feature Extraction)

    特征提取有别于传统卷积神经网络,DehazeNet采用“卷积+Maxout”的结构作为网络第一层。

    其中F代表输出的特征,i代表第i个,1是是指第一层,k是指k个层进行maxout操作。W和B是权重和偏置。 第一层是特征提取层,即提取有雾图像特征。本文中使用了16个滤波器,通过maxout unit的激活函数,每四个输出一张图。这里不padding,输入是3*16*16三通道的块。输出的是四个12*12,每一个代表一种特征。

    特征提取

    作者在后面指出,“卷积+Maxout”等价于传统的手工去雾特征。当W1是反向(Opposite)滤波器,通道的最大等价于通道的最小值,等价于暗通道先验(DCP);当W1是环形(Round)滤波器, 等价于对比度提取,等价于最大对比度(MC);当W1同时包含反向(Opposite)滤波器和全通(All-pass)滤波器,等价于RGB到HSV颜色空间转换,等价于颜色衰减先验(CAP)。此外,从机器学习角度,Maxout是一种样条函数,具有更强的非线性拟合能力,如图(d)。

     

    (2)多尺度映射(Multi-scale Mapping)

    使用多尺度的平行卷积操作。由于多尺度特征被证明有利于去雾并且在inception的模型中也用到了平行卷积,即同一张图用不同尺度的卷积核进行卷积。分别用16个3*3、16个5*5和16个7*7的卷积核进行卷积,每一种尺度产生16个,并且通过padding每张图大小应该是一致的(pad见下图)。总共获得48个48*12*12特征图。

     

     

    (3)局部极值(Local Extremum)

     根据假设透射率有局部不变性,所以用一个7*7局部最大值滤波替代maxpooling。输出是48个48*6*6。

     

    4)非线性回归(Non-linear )

    大气透射率是一个概率(0到1),不可能无穷大,也不可能无穷小。受到Sigmoid和ReLU激励函数的启发,提出双边纠正线性单元(Bilateral Rectified Linear Unit,BReLU),在双边约束的同时,保证局部的线性。

    训练过程

    1.数据集

     获取自然场景的有雾和无雾的图像是十分困难的,所以作者使用了基于物理雾霾形成模型的综合训练集。从因特网收集的图像中随机抽样10,000个大小为16*16的无雾霾patch。对于每个patch,作者统一采样10个t以生成10个模糊patch,这里为了减小变量学习的不确定性,将大气光A设置为1,共生成100,000个16*16的数据。

    2.损失函数

    作者将t的估计偏差作为损失函数,使用了均方差损失

    参考链接

    1. B. Cai, X. Xu, K. Jia, C. Qing, and D. Tao. Dehazenet: An end-to-end system for single image haze removal. IEEE Transactions on Image Processing, 25(11):5187–5198, 2016.

    2. https://blog.csdn.net/u012556077/article/details/53364438

    3. https://blog.csdn.net/yinhou1771/article/details/82682311

    4. https://blog.csdn.net/u014195530/article/details/80963278

    2. All-in-One Network for Dehazing and Beyond  Boyi Li  2017 ICCV

    本文并没有单独估计t(x)和大气光A,而是通过轻量级的CNN直接生成清晰的图像,这种端到端的设计使得其可以嵌入到其他的模型中,比如说物体检测faster-RCNN。

    该文章算法贡献如下:

    1. end2end系统,提出了一个end to end的去雾模型,完成了haze  image到clear image之间的转化通过K(x)将t(x)与A统一,基于K(x)可以完成对清晰图像的重构。

    2. 提出了新的比较去雾效果的客观标准,定量研究去雾质量如何影响后续高级视觉任务的,同时,其模型可以和其他深度学习模型无缝嵌。

    作者首先介绍了一些之前的工作,并总结了之前方法的不足,作者认为:

          (1)之前的去雾算法没有端到端的去雾,而大多数用于图像恢复和增强的深度学习方法完全采用端到端建模,训练模型以直接从损坏的图像中回归干净的图像。作者认为估计参数有可能会使得误差相互放大。

          (2)目前,去雾模型依赖于两组评估标准:对于合成模糊图像,其清晰图像是已知的,通常计算PSNR和SSIM来进行评估;对于具有未知地面真实性的真实自然模糊图像,唯一可用的去雾结果比较是主观视觉质量。然而,在最先进的算法中,主观视觉质量的评价是难以做到的。而图像的清晰度会影响一些诸如目标检测类视觉任务的结果,所以,之前的方法缺少将去雾结果与高级视觉任务相关联去进行评估。

    由大气退化模型,可以得到去雾后图像的表达式,如下:

    可以看到,表达式中是有两个未知数的,作者的想法是,将这两个未知数化为一个,即用K(x)将A与t(x)相统一。其中,b是具有默认值的恒定偏差。

    总体网络结构较为简单,主要分为2部分

          (1)K估计模块:利用输入图像I(x)对未知变量K(x)进行估计

          (2)干净的图像生成模块:将估计所得的K(x)作为自适应变量输入网络,得到J(x)

    受到DehazeNet,MSCNN的启发,使用五个卷积层,并通过融合不同大小的滤波器形成多尺度特征。“concat1”层连接层“conv1”和“conv2”的特征,“concat2”连接来自“conv2”和“conv3”的那些; “concat3”连接来自“conv1”,“conv2”,“conv3”和“conv4”的那些。这种多尺度设计捕获不同尺度的特征。AOD-Net的每个卷积层仅使用三个滤波器。

    1.损失函数

          使用了简单的均方差损失。

    2.指标

          除了使用PSNR和SSIM指标外,作者还联合faster-RCNN进行了分析。

    参考链接

    1. Xu , and D. Feng . Aod-net: All-in-one dehazing network. In Proceedings of the IEEE International Conference on Computer Vision, volume 1, page 7, 2017.

    2. https://zhuanlan.zhihu.com/p/47386292

    3.Densely Connected Pyramid Dehazing Network  Rutgers University  2018 CVPR

    作者的总体思路依旧是按照大气退化模型来进行的,作者指出,以往的方法较为侧重对传输图t(x)的估计,对于大气散射A,往往采用经验公式去估计,没有对A足够的重视,所以作者对二者均进行了估计。主要贡献如下:

    1.提出了一种新型的端到端联合优化去雾网络,将公式嵌入到了网络,在训练阶段采取了阶段式训练的方法。

    2.提出了一种边缘保留金字塔密集连接的编码器 - 解码器网络,用于精确估计传输映射。此外,它通过新提出的边缘保留损失函数进行优化。

    3.利用GAN框架内的联合鉴别器来确定配对样本(即透射图和去雾图像)是否来自数据分布。

    4.对两个合成数据集和一个真实世界的图像数据集进行了大量实验。进行消融研究以证明提出网络中不同模块所获得的改进。

    如下图所示,网络以下四个模块组成:1)金字塔密集连接的传输图估计网 2)大气光估计网 3)嵌入公式 4)联合鉴别器网络

    (1) Pyramid densely connected network for transmission map estimation

    A. 用dense block做CNN的基本block来提取feature(dense block被认为是有利于融合多尺度特征)

    B.multi-level pyramid pooling method. 是将得到的特征用不同尺寸的pooling,四个pooling layer,然后再upsize到原尺寸(就算多尺度的feature)

    (2)Atmospheric Light Estimation Network

          作者同样假设大气光是均匀的e.g. A(z)=c constant。采用U-net来估计图像的大气光。

    (3)嵌入公式

          在估计得到传输图与大气光后,将公式嵌入作为第三部分网络。

    (4)鉴别器

          增加了一个discriminator 来更好的生成的transmission map, A(z)。 

    损失函数

    (1)edge-preserving loss

    其中,LE,l2表示整体边缘保留损失,LE,g表示双向(水平,垂直)梯度损失,如下

    LE,f表示特征损失,如下

    (2) 判别器优化

            损失函数

    (3)总损失

    其中,Lt由边缘损失组成,La是预测A的l2损失,Ld表示除雾损失,也是l2损失,Lj是联合鉴别器损失,其前面的系数是一个常量。

    损失太多训练时不好收敛,作者提出initialization stage,先分块优化每一个小block,然后再统一训练。

    参考链接

    1. H. Zhang and V. M. Patel. Densely connected pyramid dehazing network. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.

    4. Gated Fusion Network for Single Image Dehazing 2018 CVPR

    本文提出一种基于门限融合网络的雾霾图像的复原方法。该门限融合网络由一个编码解码网络构成。其中,编码网络用于对雾霾图像本身及其多种变换图像进行特征编码,解码网络则用于估计这些变换图像对应的权重。

    具体而言,对一张雾霾图像,作者对其进行多种变换,包括图像白平衡、对比度增强和伽马矫正等操作提取图像内部的不同颜色或对比度特征,然后将得到的变换图像输入到门限融合卷积神经网络中,利用神经网络对雾霾图像的每个变换图像估计一个权重矩阵,再利用权重矩阵对所有的变换图像进行融合获得最终的去雾结果图。

     另外,为了去除恢复结果中容易出现的光晕效应(halo artifacts),作者提出了多尺度门限融合网络,可以有效增加网络感知野并减少光晕效应。

    输入包括四部分,原图,三种方法预处理后的图像,即:

    白平衡操作(目的是恢复出由大气光散射造成的颜色差异) 得到 Iwb

    图像对比度增强(恢复出图像的可视化效果)  得到 Ice

    gamma变换(对比度增强可能导致图像过暗,所以还对图像做gamma变换做增强)  得到 Igc

     最终的输出可以表达为如下形式,其中o代表逐元素相乘:

    C代表confidence maps for gating,是通过神经网络所获得的

    网络使用了encoder-decoder结构,这和U-net很像,但是其所有的feature大小保持一样,其同样像U-net一样使用了前后skip连接在一起的操作。卷积层为了获得更大的感受野使用了空洞卷积,每个卷积层后面加上一个矫正层,网络最后的输出是三个权重图C,网络的大致结构图如下所示:

    网络使用了三个卷积块个三个反卷积块,除了第一层和最后一层,每一层的大小都是32个3*3*32的卷积核,第一层卷积核的大小是5*5,最后一层用于confidence map 的重建。

    进一步优化

    多尺度的Refine(具有多尺度风格,以防止halo artifacts):

    通过对小尺度图像利用上述网络进行处理获得输出,然后输出进行上采样再送到同样的网络,这样做是为了学习得到更多的细节。每个级别的输入都是上一个级别输入大小的两倍,其相应的derived的预处理图像也是由上一个级别的输出图像得到的。这种级联的结构如下所示:

    损失函数

    1.对于前面的网络,对每一次的输出取MSE损失,损失函数如下:

    其中,N是金字塔级别的个数,Θ是卷积和反卷积核的权重。

    2.作者还使用了GAN网络来计算损失,添加了对抗性损失,其遵循[22]中的架构,构建了一个判别器。对抗损失定义如下:

    [22] S. Nah, T. H. Kim, and K. M. Lee. Deep multi-scale convolutional neural network for dynamic scene deblurring. In CVPR, 2017. 5

    3.最终的损失函数是:

    在进行模型训练的时候,和前面的文章相同,作者同样使用的合数据集,但是作者还在合成的图像上增加了1%的高斯噪声来增加网络的鲁棒性。

    在进行比较的时候,作者使用的指标为结构相似性(SSIM)与峰值信噪比(PSNR)。在测试的时候,作者还在公开数据集上进行了测试。

    方法在一般自然图像中表现良好,但是在非常大的雾的情况下,不能取得良好的去雾效果。

    参考链接

    1. W. Ren, L. Ma, J. Zhang, J. Pan, X. Cao, W. Liu, and M.-H. Yang. Gated fusion network for single image dehazing.arXiv preprint arXiv:1804.00213, 2018.

    2. http://tech.ifeng.com/a/20180321/44915180_0.shtml

    3. https://kevinjhuang.github.io/2018/10/15/%E5%8D%9A%E5%AE%A262/

    4. http://forum.xitek.com/forum.php?mod=viewthread&tid=1605692&page=1&ordertype=1

     

    5.Gated Context Aggregation Network for Image Dehazing and Deraining 2019 WACV

    本文利用GAN网络,实现可端到端的图像去雾,本文的重点在于解决了网格伪影(grid artifacts)的问题,该文章的方法在PSNR和SSIM的指标上,有了极大的提升,非常值得借鉴。

    本文的主要亮点如下:

    1. 提出端到端的去雾网络,不依赖于先验

    2. 采用了smooth dilated convolution 代替原有的dilated convolution,解决了原来的dilated convolution导致的grid artifacts问题

    3. 提出了一个gated fusion sub-network,融合high-level 及low-level 特征,提升复原效果

    总体框架

    三个卷积模块作为编码部分,一个反卷积和两个卷积作为解码部分在二者之间插入数个smoothed dilated resblocks。

    Smoothed Dilated Convolution(平滑空洞卷积)

    为了应对分割等任务, F. Yu[41] 等人提出空洞卷积(也叫扩张卷积),扩张卷积可以支持感受野的指数扩展而不会损失分辨率或覆盖范围。在一维情况下,给定1-D输入f,具有内核大小k的常规卷积层w的输出为:

    其中一个输出点覆盖总k个输入点,因此感受野为k。 但是对于扩张的卷积,它可以被视为“带有扩张滤波器的卷积”,可以表示为:

    但是它会所谓的网格伪影,针对这一问题,作者用了一个简单的分离卷积。

    上面的图表示的是原始的空洞卷积的工作,从图中不同颜色的块块可以看出,经过dilated rate(r)>1的空洞卷积后,输出的特征层中相邻的特征值与输入特征层是完全独立的,没有相互依赖的关系,我们可以知道,图像是具有局部相关性的,同理,特征层也应该保留这个特性。

    下面的图是经过改进的空洞卷积,在执行dilated rate>1的空洞卷积之前,做了一次核为(2r-1)的分离卷积,卷积的参数共享,经过该层卷积之后,每一个特征点都融合了周围(2r-1)大小的特征。该操作仅仅增加了(2r-1)(2r-1)大小的参数,却能有效的解决grid artifacts问题。

    Gated Fusion Sub-network(门控融合子网)

    该子网络主要是融合了不同层次的特征信息,以往的网络都是直接添加short-cut操作进行信息融合,本文的Gate fusion network 为不同层次的特征分别学习了权重,最后加权得到融合的特征层。

    损失函数

    简单的均方差损失

    参考链接

    1. Chen D , He M , Fan Q , et al. Gated Context Aggregation Network for Image Dehazing and Deraining[J]. 2018.

    2. http://www.cnblogs.com/jingyingH/p/10061286.html

    3. https://www.jianshu.com/p/6abff04c5f11

    4. https://blog.csdn.net/suixinsuiyuan33/article/details/7945106

    6.Towards Perceptual Image Dehazing by Physics-based Disentanglement and Adversarial Training 2018 AAAI

    作者认为,之前的基于先验知识的去雾,缺点在于先验知识不是在任何情况都满足的(比如说多光源,大雾),并且不是监督训练的,而基于CNN的去雾需要训练集是成对的,即同时有有雾图像与无雾图像,而一个有效的去雾模型应该能够学习无雾图像到有雾图像的映射,无需使用paired supervision。

    并且人类对于去雾后的图像应该和无雾图像的感知是一样的。基于以上观点,作者提出了Disentangled Dehazing Network,主要贡献如下:

    1. 提出一种基于解耦的新型去雾网络

    2. 收集了具有挑战性的数据集,包含800多个自然模糊图像与1000个无雾的室外场景图像

    3. 通过对合成和真实图像的数据集的广泛实验来评估感知图像去雾

    解耦网络 Disentangled Dehazing Network

    作者引入基于基于解耦与重建的物理模型,目标是将有雾图像解耦为隐藏要素,再利用隐藏要素重建图像。

    损失函数包含三部分,重建损失,对抗损失,正则化损失

    (1)在重建损失中,使用L1损失函数,从而像素级一致性和较少模糊(与L2损失相比)

    (2)为了生成both perceptually pleasing and hazefree images,作者其对中间输出J引入了多尺度生成训练,受到(Isola et al. 2017) and (Zhu et al. 2017)启发,作者使用了patch-level discriminator,并进行了改进,使用了局部鉴别器和全局鉴别器。多尺度对抗损失为:

    (3)正则化损失:在该部分,借鉴了前人的经验,使用medium transmission map的平滑性作为正则化损失。

    最终的损失函数为

    目标函数为

    恢复图像

    通过前面的分析可以得到,作者可以得到两个去雾后的图像,一个是生成器GJ直接输出,另一个是利用估计的t和A来获得的,形式如下:

    这两种方法得到的去雾图像各有优劣,其中生成器输出得到的图像倾向于生成具有更多纹理细节的图像,并且在感知上更加清晰,但是其易于受到噪声的影响并且会有undesirable artifacts,而用后种方式得到的图像更平滑,所以作者将二者进行了混合。

    7.Cycle-Dehaze: Enhanced CycleGAN for Single Image 2018 CVPRW

    这篇文章是基于《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》来做改进的,前者设计了一个循环的对抗网络学习图像风格的迁移,使用不成对的图像来训练网络。

      本文在其基础上,进行了改进,加入了循环感知一致损失(cyclic perceptual-consistency loss),对图片的特征进行监督,主要贡献如下:

    1. 通过增加循环感知一致性损失以及循环一致性损失来增强用于单图像去雾的CycleGAN 架构。

    2. 其方法既不需要模拟朦胧和地面实况图像的样本,也不需要估计大气模型参数

    3. 通过拉普拉斯金字塔upscale dehazed images

    4. 提供了一个通用模型,通过跨数据集来验证

    Cycle-Dehaze 主要由两个生成器G,F和两个判别器Dx,Dy组成。

    损失函数

    在该部分,除了cycle-gan的损失外,作者使用了cyclic perceptual-consistency损失。

    在cycle-consistency损失中,使用了VGG-16中的第2层和第5层的输出层来进行损失的计算,形式如下:

    总的损失和目标函数如下:

     

    展开全文
  • 针对传统单幅图像去雾算法容易受到雾图先验信息制约而导致颜色失真,以及现有深度学习去雾算法受网络模型限制而存在去雾残留等问题,提出了一种基于双域分解的多尺度深度学习单幅图像去雾方法,设计了一个包含低频去雾...
  • 当时并没有用深度学习,却能实现让人震惊的效果。 先看下效果: 左边是原图,右边是去雾霾之后的图。效果还是很惊人的吧。代码也非常简短,如下: requirements: opencv3 python3 用法: python dehaze.py...

    Kaiming早在09年以MSRA实习生的身份获得CVPR best paper,其成果就是给图像去雾。当时并没有用深度学习,却能实现让人震惊的效果。

    先看下效果:

    左边是原图,右边是去雾霾之后的图。效果还是很惊人的吧。代码也非常简短,如下:

    requirements:

    opencv3

    python3

    用法:

    python dehaze.py xxx.jpg
    import cv2
    
    import math
    
    import numpy as np
    
    
    def DarkChannel(im,sz):
    
        b,g,r = cv2.split(im)
    
        dc = cv2.min(cv2.min(r,g),b);
    
        kernel = cv2.getStructuringElement(cv2.MORPH_RECT,(sz,sz))
    
        dark = cv2.erode(dc,kernel)
    
        return dark
    
    
    def AtmLight(im,dark):
    
        [h,w] = im.shape[:2]
    
        imsz = h*w
    
        numpx = int(max(math.floor(imsz/1000),1))
    
        darkvec = dark.reshape(imsz,1);
    
        imvec = im.reshape(imsz,3);
    
    
        indices = darkvec.argsort();
    
        indices = indices[imsz-numpx::]
        
    
        atmsum = np.zeros([1,3])
    
        for ind in range(1,numpx):
    
        atmsum = atmsum + imvec[indices[ind]]
    
    
        A = atmsum / numpx;
    
        return A
    
    
    def TransmissionEstimate(im,A,sz):
    
        omega = 0.95;
    
        im3 = np.empty(im.shape,im.dtype);
    
    
        for ind in range(0,3):
    
        im3[:,:,ind] = im[:,:,ind]/A[0,ind]
    
    
        transmission = 1 - omega*DarkChannel(im3,sz);
    
        return transmission
    
    
    def Guidedfilter(im,p,r,eps):
    
        mean_I = cv2.boxFilter(im,cv2.CV_64F,(r,r));
    
        mean_p = cv2.boxFilter(p, cv2.CV_64F,(r,r));
    
        mean_Ip = cv2.boxFilter(im*p,cv2.CV_64F,(r,r));
    
        cov_Ip = mean_Ip - mean_I*mean_p;
    
    
        mean_II = cv2.boxFilter(im*im,cv2.CV_64F,(r,r));
    
        var_I = mean_II - mean_I*mean_I;
    
    
        a = cov_Ip/(var_I + eps);
    
        b = mean_p - a*mean_I;
    
    
        mean_a = cv2.boxFilter(a,cv2.CV_64F,(r,r));
    
        mean_b = cv2.boxFilter(b,cv2.CV_64F,(r,r));
    
    
        q = mean_a*im + mean_b;
    
        return q;
    
    
    def TransmissionRefine(im,et):
    
        gray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY);
    
        gray = np.float64(gray)/255;
    
        r = 60;
    
        eps = 0.0001;
    
        t = Guidedfilter(gray,et,r,eps);
    
    
        return t;
    
    
    def Recover(im,t,A,tx = 0.1):
    
        res = np.empty(im.shape,im.dtype);
    
        t = cv2.max(t,tx);
    
    
        for ind in range(0,3):
    
        res[:,:,ind] = (im[:,:,ind]-A[0,ind])/t + A[0,ind]
    
    
        return res
    
    
    if __name__ == '__main__':
    
        import sys
    
        try:
    
            fn = sys.argv[1]
    
        except:
    
            fn = 'demo.jpg'
    
        def nothing(*argv):
    
            pass
    
        src = cv2.imread(fn);
    
        I = src.astype('float64')/255;
    
        dark = DarkChannel(I,15);
    
        A = AtmLight(I,dark);
    
        te = TransmissionEstimate(I,A,15);
    
        t = TransmissionRefine(src,te);
    
        J = Recover(I,t,A,0.1);
    
        arr = np.hstack((I, J))
    
        cv2.imshow("contrast", arr)
    
        cv2.imwrite("dehaze.png", J*255 )
    
        cv2.imwrite("contrast.png", arr*255);
    
        cv2.waitKey();
    
    

     

    展开全文
  • 本文档涵盖了2017-2018(3月之前)几乎全部的顶级论文,这些论文包括在17、18年顶级期刊和会议(CVPR,ECCV,ICCV)上的论文,也有许多是最新提出的基于深度学习模型的去雾算法,在arXiv上共享但还未发表。
  • 最近,基于CNN的端到端深度学习方法在图像去雾方面取得了优势,但在非均匀去雾中却往往会严重失效。 除此之外,现有流行的多尺度方法耗时且内存效率低下。 在这种情况下,我们提出了一种快速的深层多块.
  • 为了提高雾霾天气与曝光较强环境下的行人检测效果,提出了将暗通道去雾算法应用于深度学习的样本预处理中,并使用快速深度卷积神经网络训练行人检测模型。在实验中,首先对10000张样本图片采用暗通道去雾算法进行...
  • image2image方向比较多,有分割,超...简介:SRCNN是首个使用CNN结构(即基于深度学习)的端到端的超分辨率算法,但是输入网络之前,对输入的低分辨率lr图像使用bicubic算法进行放大,网络比较浅。 论文:https://ie
  • 摘要:本文在hikey970嵌入式设备上运行图像去雨深度神经网络算法,验证hikey970运行神经网络模型的性能与效果。 一、图像去雨简介     图像去雨处理指的是对于一张雨中的图片,去除画面中的雨滴,得到还原后的...
  • 算法主线:通道上的权重、各个像素位置处的权重是根据特征的重要程度来分配的。 2.FFA-Net框架结构: 上图为FFA-Net的框架结构图,从整体来看,其为全局残差网络,输入为haze image,经过shortcut与残差网络的主...
  • 图像去雾相关资料

    2018-10-10 19:37:59
    1、何凯明的论文《Single Image Haze Removal Using Dark Channel Prior》 使用暗通道先验,根据光学模型公式推导...问题是,这一做法很简单,效果也不错,相比于后来提出的使用深度学习的方法,效果好在哪里? ...
  • 针对传统的单幅图像去雾算法容易受到雾图先验知识制约及颜色失真等问题,提出了一种基于深度学习的多尺度卷积神经网络(CNN)单幅图像去雾方法,即通过学习雾天图像与大气透射率之间的映射关系实现图像去雾。根据大气...
  • 这篇文章之所以能够在 CVPR 发表,真的是因为该文章确实切中了目前基于深度学习去雾算法的要害,即依据大气光物理模型生成的人工合成雾图像与真实拍到的雾图像是不一样的。也就是说,大家一直广泛应用的大气光物理...
  • 深度学习在图像领域的应用

    千次阅读 2018-12-21 11:43:38
    我们总结了在视觉领域的一些方向上基于深度学习的优秀算法。包括物体检测、物体识别、人脸世界、分割、跟踪、边缘检测、图像复原(去雨、去雾)、图像编辑等。 检测 1. 单一物体检测 MTCNN: ...
  • 首先简单自我介绍一下,本人现在是国内某211大学2019级...目前主要研究图像去雾算法深度学习理论。 如果要学习Machine Learning和Deep Learing,那么Gradient Descent Algorithm (梯度下降算法)是必须要掌握...
  • 2021年第一篇博文,很高兴又回到博文! 先说说后面我需要做的工作 我的毕业论文是《基于...最后对本文算法的不足进行展望(为深度学习相关做准备) 第3章 关于第三章,首先我会介绍卷积相关的理论 1、卷积层 2、池化层
  • 第 1 章 基于直方图优化的图像去雾技术 第 2 章 基于 ...第 27 章 基于区域生长的肝脏影像分割系统 第 28 章 基于深度学习的汽车目标检测 第 29 章 基于计算机视觉的自 动驾驶应用 第 30 章 基于深度学习的视觉场景识别
  • 图像去模糊——暗通道

    千次阅读 2019-04-13 19:54:25
    最近在研究图像去模糊方法的传统方法(非深度学习方法),以下记录一下何凯明大神的暗通道方法。 论文链接:Single Image Haze Removal Using Dark Channel Prior_CVPR_2009 另外我看的是博客:暗通道优先的图像去雾...
  • 1.介绍提到导向滤波,首先想到的是“何恺明”,他的确是真大神,在图像领域,是中国人的骄傲,深度学习流行的时候,也是提出各种新算法,比如ResNets,而最近两年,深度学习的发展已经非常缓慢了,更多都是各种组合...
  • 总结一些机器视觉库

    2016-11-17 21:50:00
    一、传统图像算法工程师: 主要涉及图形处理,包括形态学、图像质量、相机成像之3A算法去雾处理、颜色空间转换、滤镜等,主要在安防公司或者机器视觉领域,包括缺陷检测;...深度学习,主要在大型互...
  • 提到导向滤波,首先想到的是“何恺明”,他的确是真大神,在图像领域,是中国人的骄傲,深度学习流行的时候,也是提出各种新算法,比如ResNets,而最近两年,深度学习的发展已经非常缓慢了,更多都是各种组合搭配。...
  • 2009年CVPR 这篇经典之作,现在普遍处理去雨去雾都会使用深度学习,cnn之类的算法。何凯明大佬这篇论文是完全从物理角度传统方法进行处理。 在计算机视觉和计算机图形中,下述方程所描述的雾图形成模型被广泛使用 ...
  • iOS 神经网络

    2018-07-26 10:43:37
    深度学习框架之视频处理应用 写在前面 阅读原文 未完待续 关于视频分析或者图像处理过程如下: 1.首先要提取视频中的运动物体,常用算法有:帧差法,GMM,vibe等; 2.提取前景(运动物体)后对其进行跟踪,...
  • 在本文中,我们通过学习模糊图像与其对应的透射图之间的映射关系,提出了一种用于单图像去雾的多尺度深度神经网络。 所提出的算法由基于整个图像预测整体透射图的粗尺度网和局部细化结果的细尺度网组成。 为了训练多...
  • 记录每天整理的计算机视觉/深度学习/机器学习相关方向的论文 CV 优质论文速递 CV 顶会/顶刊(2017-2021) 2019 CV论文最佳综述 CV 优质论文速递 2021(日更中) 2020 2019 2018 为了方便内容沉淀和检索,现在...
  • 该系列文章是讲解Python OpenCV图像处理知识,前期主要讲解图像入门、OpenCV基础用法,中期讲解图像处理的各种算法,包括图像锐化算子、图像增强技术、图像分割等,后期结合深度学习研究图像识别、图像分类应用。...

空空如也

空空如也

1 2
收藏数 30
精华内容 12
关键字:

深度学习去雾算法