之前已经写过有关水下图像复原及增强相关的博客了。但是感觉了解仍然不够深入，本博文会继续做paper survey

 

目录

图像增强与复原的区别

水下增强现状

基于图像增强的水下图像增强

基于物理模型的水下图像复原

水下光通信

光在水中的传播模型

水下成像散射模型

水的吸收特性与散射特性

 吸收作用

散射作用

水下信道分析

水空通信或空水通信（air to water or water to air）

参考资料

 

图像增强与复原的区别

图像增强方法和图像还原方法。退化图像增强方法不依赖具体的模型，而是有目的地增强最重要、最有用、与当前任务最相关的感兴趣区域的信息，抑制不感兴趣区域的信息；退化图像的复原方法依赖具体的物理模型，充分考虑了图像质量下降的根本原因，并使其恢复到图像降质前的状态。

水下图像增强技术是利用图像增强的技术来实现水下图像的清晰化。由于水下环境的复杂性，水对光会产生吸收与散射效应，这会导致水下图像色偏与对比度下降的问题。故水下图像增强技术与图像增强技术具有相似性，但又有所不同。目前，研究水下图像增强技术主要有三种路径，一种是采用传统的图像增强，直接将其应用于水下环境；另外一种是基于基于颜色恒常理论（Retinex）的方法；还有一种是基于暗通道优先（DCP）算法及其改进算法。 

传统的图像增强算法有很多，如直方图均衡化（Histogram Equalization，HE），在此基础上，发展了对比度限制的直方图均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）。除此之外，还有基于概率的方法（Probability-based  method，PB），该方法基于概率方法估计线性域的光照与反射，以增强图像。但是传统的图像增强算法直接应用于水下环境往往会出现增强效果有限或者增强后的图像失真，原因是这些算法只能对图像的对比度下降进行处理，但是对图像的色偏现象无法有效解决，这往往导致增强效果不佳的情况。除此之外，这些传统的图像增强算法不能够根据应用场景的变化而有所变化，这往往会导致增强过度或者增强欠佳的现象。 

 

水下增强现状

基于图像增强的水下图像增强

传统的水下图像增强分为空域图像增强和变换域图像增强，这两种增强方法并不需要考虑水下图像成像的物理模型，空域图像增强通过调整直接调整像素的灰度值来增强图像，而变换域图像增强方法是指通过变换技术，然后用数字滤波的方式增加图像的清晰度，例如：小波变换和傅里叶变换等。在水下图像处理的早期研究中，一般用白平衡，灰度世界假设、灰度边缘假设等来调整水下图像的颜色，典型的增强水下图像对比度的方法如下：

（1）直方图均衡化。直方图均衡化可以分为全局直方图均衡化与局部直方图均衡化，其中全局直方图均衡化的水下图像增强的基本思想是对水下图像的三个通道分别进行全局直方图均衡化，全局直方图均衡化对亮度较亮或者亮度较暗的图像处理效果比较好，实现也比较容易；缺点是过度放大图像中的噪声并且不能突出局部细节信息，层次感比较差，对不同场景的图片处理后有较大差异。而局部直方图均衡化则能较好的突出图像局部的细节信息，对局部的亮度也比较良好的调节，其缺点是处理过后的图片出现块效应，与全局直方图一样也会放大图像中的噪声，另外局部直方图增强运算量也较大。

（2）小波变换。小波变化是从傅里叶变化的基础上发展而来，他弥补了傅里叶变化的一些缺点，小波变换的基本思想是吧图像从空域变换为频域，经过小波变换的图像我们可以明显的看到图像的高频部分以及低频部分，图像的高频部分一般代表图像的细节部分也就我们要增强的部分，通过小波变换频域高频部分增强，从而增强水下图像的纹理细节，对于浅水下光照比较均匀的图像该算法能实现较好的增强效果，该算法的缺点是不能用于颜色衰减较强的深水。

（3）Retinex 算法。Retinex 算法是认为物体的颜色是由物体本身对不同的波长光线反射的结果，其颜色不会受光照不均匀的影响，Retinex 算法通过将图像分为辐射照度以及反射照度，通过重新调整图像的辐射照度从而实现较好的亮度矫正处理，Retinex 算法对于照度不均匀以及亮度较暗的水下图像处理得到的效果较好，但 Retinex 算法增强后的水下图像严重失真，且放大了原图中的噪声。 

（4）图像融合算法。图像融合就是协同利用同一场景不同传感所获取图像信息，通过融合的方法生成一幅符合人类视觉的图像，图像融合的方法可以获取更多的图像信息，增加图像的清晰度，能明显改善单一传感器成像的不足，而目前对于典型的水下图像增强，Ancuti所提出的方法能较好的增强水下图像的可见性，该方法通过不同的方法增强图像的纹理细节信、亮度信息、颜色信息等特征，最后通过拉普拉斯图像融合的方法来提高水下图像的质量。 

基于物理模型的水下图像复原

基于物理模型的水下图像复原方法要针对水下图像建立合适的水下图像退化模型，然后通过返演水下图像的退化过程，从而恢复理想状态下未经退化的原始水下图像，其中典型的基于物理模型复原水下图像的方法如下：

（1）基于暗通道先验的水下图像复原

暗通道先验（DCP）最初被提议用于户外场景的去雾。它假定一个物体在自然环境中的亮度至少在一个颜色成分中是很小的，因此它将有雾图像的局部一小块的最小值作为雾的叠加分量，然后根据大气散射模型复原有雾图像。

凯明神提出了暗通道优先（DCP）算法。在无雾的图像中，图像中的每个局部区域的颜色都较为鲜明。根据图像的三原色的原理，每个区域存在至少一个颜色通道的值很低，将图像中各个通道的最小值组成的图像称作为暗通道图像。如果图像中存在着雾，由于雾是灰白色的，其各个通道的值都较高，即在暗通道的值也很高。故可以通过暗通道图像的中灰白的程度估计雾的浓度，以此进行去雾处理。直接将 DCP 算法应用于水下图像增强并不能获得很好的增强效果。但可以通过改进算法来实现。

（2）基于极化的水下图像复原方法。

基于极化的方法使用了不同程度的偏振捕捉到的相同场景的图像来复原水下图像，这些图像是通过旋转固定在相机上的一个偏振镜片得到的，例如 Schechner 和 Averbuch利用了与反向散射光相关的偏振来估计透射率。虽然在恢复遥远的区域方面是有效的，但极化技术并不适用于视频获取，因此基于极化的方法不适用于处理动态场景。 

 

水下光通信

水下通信目前主要分为水声通信、水下电磁波通信、水下光通信三类。三类通信方式的优缺点比较如下图所示





通过介绍与比较上述三种目前主要的水下水下无线通信方式，我们可以做出这样的结论：在长距离（千米级别以上的）深海（４００米）海水低速传输场景下，需要使用水声通信，而海面以下２０米，则可以使用水下电磁波通信，并且目前水下电磁波通信还可与水声通信技术一起进行声电协同组网。但是一旦涉及到近距离高速通信，基于蓝绿激光的水下无线通信就是最有效与性价比的解决方案。在可以预见的未来，海洋的智能化与信息化的程度会逐年上升。因此在目前海洋探测与开发及各国的海洋战略的背景下，水下光通信已经受到了极大的关注并且己经取得了一定的研究成果。

虽然目前有不少的报道水下光通信达到了Gbps的级别，但基本是离线实验，借助OFDM调制，示波器采集的方式，而实时的通讯还仅仅在兆级别。实时系统的难点在于水下光信道的准确数学模型的建立，硬件技术，调制解调电路，编译码电路等等，所以距离大容量、高速率的实时水下系统还有很长的路要走。

 

光在水中的传播模型

水下成像散射模型

McGlamery和 Jaffe综合研究已经表明，在图像平面的一个点上的反射模型主要有三个组成部分：



（1）直接照射分量。如上图所示。直接照射分量是由目标物体直接反射到相机的光的分量。在每个图像中，直接分量表示为 



（2）前向散射。除吸收外，在水下介质中存在的浮动粒子也会引起入射光的偏差（散射）。前向散射的结果是光线在进入相机镜头前的随机偏差。通过实验确定它的影响可以通过直接衰减分量之间的卷积来近似，也就是点扩散函数，点扩散函数受图像平面和物体之间的距离的影响。 

（3）后向散射。后向散射是由于人造光（如闪光）撞击水粒子，并反射回相机。后向散射就像一个明显的面纱叠加在物体上。通过简单地改变人造光源的位置和角度，可以使大部分反射的粒子光无法到达相机，从而大大降低了该组件对水下图像成像的影响。然而，在许多实际情况下，后向散射仍然是在水下图像对比损失和颜色变化的主要原因。后向散射可以用数学公式表示如下： 



如果忽略前向散射部分，水下散射模型可以被简化为下式： 



这个水下成像模型类似于大气散射模型，所以我们可以通过用去雾的方式来去除水下图像的模糊，但大气散射模型不能显示出水下成像与光线波长强烈的相关性，所以在去除水下图像模糊时应用大气散射模型并不能表现出很好的效果。

 

水的吸收特性与散射特性

水下信道作为水下通信系统中的重要组成部分，在设计系统之前，需要了解光在水中的传播特性，以选择合适的发射端设备和接收端设备。海水是一种非常复杂的混合介质，包含了水、悬浮颗粒、微生物等，并且还与地域、气候、环境有关。海水的不均匀性使光波在传播中受到吸收和散射的影响，产生的衰减严重影响了传输距离和信噪比。

水下光通信跟光纤通信类似，都存在窗口效应。也即：海水对蓝绿光的吸收要明显的少很多。所以基于蓝绿光的水下光通信成为研究人员的关注热点。（但实际上，这一点跟下面要分析的海水的吸收作用有关）





光在水中的衰减主要包括了吸收和散射两部分，限制了光在海水中的传输距离。吸收是光子在传输过程失去能量并转化为其他形式的能量的过程。散射是光在传输过程中与其他粒子碰撞使得光子向不同方向传播，其传输方向上的光子数不断减少的过程，可以用如下简化几何模型表示，如图２－２。









 吸收作用

海水主要由水组成，同时包含许多种无机物和有机物，无机物主要包括悬浮颗粒和无机盐（氯化钠，盐酸钠等），有机物吸收作用是由含有叶绿素的微观植物，腐烂海洋生物引起，经过分析调研相关资料，海水中光波的吸收作用主要由以下四个因素引起：



纯海水包含纯水和水中溶解的无机盐，其吸收作用主要和光的波长有关，随着波长的增加，吸收效应越来越明显。浮游植物存在于阳光可以传播的海洋表面部分，也就是常说的“透光区”，在清澈的海水中，“透光区”的范围在５０米到２００米左右，在沿海近海岸处则仅１５米左右浮游植物利用叶绿素进行光合作用，会吸收大量的有色光，并且研究表明叶绿素对蓝，红光的吸收作用强于其他有色光。浮游植物导致的衰减会随着海水深度，时间和地理位置而变化。有色可溶有机物，主要包含死亡植物以及腐烂的有机物质，因此产生的腐植酸和黄腐酸在蓝光范围出现吸收峰值，所以一般显示为黄色和红色。在开阔水域中一般含量较低，在沿海岸水域中含量较高。悬浮颗粒一般是各类粒子的混合物，例如细菌，浮游动物，石英石和泥土。在开阔海域，浮游植物、腐植酸和黄腐酸的浓度较低，因此吸收效应主要由纯水引起，最小衰减窗口在４００ｎｍ－５００ｎｍ范围，即蓝绿光波长区域；在近海岸，浮游植物和各类悬浮物浓度升高，最小吸收窗口在５２０ｎｍ至５７０ｎm之间，即黄绿光区域。

散射作用

散射是由于粒子碰撞导致光子的运动路径发生偏移的现象，散射效应会使接收端的信号强度降低，还会导致码间串扰。散射很大程度上和光的波长无关，主要取决于水中存在的各种粒子，因此，散射现象影响的主要是沿海地区而不是开阔海域。散射系数如下：



散射引起的光子方向变化主要是由粒子的大小决定，如果粒子的大小小于光的波长，则发生瑞利散射，如果波长小于粒子的大小，则发生米氏散射。在纯海水中，一般发生瑞利散射，因为纯海水中存在各类盐离子，它们的大小小于光波波长。纯海水中的散射系数可以表示为:



由以上讨论可知，吸收和散射效应共同作用于水下光束，但是在不同的水下环境中，吸收作用或散射作用所占的比重不同。在远离海岸线的较为纯净的海水中，光的衰减主要是由吸收作用导致，随着海水逐渐变浑浊，水下衰减主要由散射导致，最小吸收窗口的波长由蓝绿色变为黄绿色，这会影响我们对于光源类型的选择。

水下信道分析

研究水的吸收和散射作用的目的是便于水下信道的分析。很多研究都通过指数模型对光在水下的传输情况进行了分析，但是指数模型只是将光的散射过程的总体作用整合成衰减系数的一项，忽略了光的散射过程的空间拓展，造成分析结果的误差。

其实通过对信道做深入的分析，然后根据分析的结果，进行对应的复原或增强，是最好的解决办法。

 

水空通信或空水通信（air to water or water to air）

除了水下通信以外，近年来还兴起水空与空水的通信研究。

 

 

 

 

 

参考资料

非均匀介质传播中的图像复原方法研究_陈田田

基于蓝绿激光的高速水下无线通信实验研究_韩孟祥

基于蒙特卡洛方法的水下可见光通信信道特性分析_张涤

基于视觉增强的水下机器人目标识别与定位_汤忠强

基于颜色补偿的水下图像增强_温伟清

 

来源：KOTO - kesci.com

原文链接：水下图像复原论文总结整理

点击以上链接👆 不用配置环境，直接在线运行

​
1. Underwater image transmission and blurred image restoration

作者： Liu, Z. S. Yu, Y. F. Zhang, K. L. Huang, H. L.
出处： Ocean Engineering
时间：		2001年
方法： PSF MIF 维纳滤波器

论文简介：	利用图像传输理论测量海水的点扩散函数和调制传递函数并且使用维纳滤波器复原模糊的图像。退化方程H(u,v)在水槽中测量得到。在实验中利用狭缝图像和光源，第一步:一维光照射到水中从而得到不同距离下的狭缝图像数据，这样一维的海水点扩散函数就可以通过去卷积得到。又因为点扩散函数的对称性二维的函数模型也可以通过数学方法得到。利用相似的方法调制传递函数也可以得到。这样传输方程便可以得到:

图像可以由下式获得:

​
2. Recovery of Underwater Visibility and Structure by Polarization Analysis

作者： Yoav Y. Schechner and Nir Karpel
出处： IEEE Journal OF Oceanic Engineering
时间：		2005年
方法： 利用偏振技术

论文简介： 论文中提出自然光照下的水下图像退化效果与光偏振相关,而场景有效箱射则与光偏振无关。在相机镜头端安装可调偏振器,使用不同偏振角度对同一场景成两幅图像,所得到的图像中的背景光会有明显不同。通过对成像物理模型的分析,利用这两幅图像和估计出的偏振度,就能恢复出有效场景辐射。他还提出了一个计算机视觉方法水下视频中的退化效应。分析清晰度退化的物理原因发现主要与光的部分偏振有关。然后提出一个逆成像方法来复原能见度。该方法基于几张通过不同偏振方向的偏振片采集图像。
3. Self-Tuning Underwater Image Restoration

作者： Emanuele Trucco and Adriana T. Olmos-Antillon
出处： IEEE Journal Of Oceanic Engineering
时间：		2006年
方法： 反卷积方法

论文简介： 论文提出了一种自适应滤波的水下图像复原方法。通过最优化图像局部对比度质量判决函数,可以估计出滤波器中所使用的参数值。

论文提出一种基于简化的Jaffe-McGlamery水下成像模型的自调谐图像复原滤波器。滤波器的最优参数值是针对每幅图像通过优化一个基于全局对比度的质量准则自动估算的。(对一幅图像滤波器能根据全局对比度自动估计最优参数值),简化的模型理想地适合后向散射较少的漫射光成像.1.首先简化Jaffe-McGlamery水下成像模型：假设光照均匀(浅水区阳光直射)，并且忽略后向散射部分.然后基于简化后的成像模型设计一个简单的反滤波器2.将滤波器设计成自适应滤波器。
4. Automated underwater image restoration and retrieval of related optical properties

作者： Weilin Hou,  Deric  J.  Gray,  Alan  D.  Weidemann
出处：  IEEE International Geoscience and. Remote Sensing Symposium
时间：		2007年
方法： PSF MIF

论文简介： 论文对于调制传递函数给出了详细准确的系统函数信息,水下图像可以用它或点扩散函数进行复原.作者进行实验测量了水质参数得出了这些函数，并用得出的函数进行了图像复原。同时他还建立了一个框架来最大限度复原水下图像，在这个框架下传统的图像复原方法得到了拓展，水下光学参数被包含了进去，尤其时域的点扩散函数和频域的调制传递函数。设计了一个根据环境光学特性进行调整的客观图像质量度量标准来测量复原的有效性。
5. Imagery-derived modulation transfer function and its applications for underwater imaging

作者： Hou, W. Weidemann, A. D. Gray, D. J.
出处： Applications Of Digital Image Processing
时间：		2007年
方法： PSF MIF

论文简介： 调制传递函数给出了详细准确的系统函数信息,水下图像可以用它或点扩散函数进行复原.作者进行实验测量了水质参数得出了这些函数，并用得出的函数进行了图像复原。(这一部分在王子韬的论文中有比较详细介绍)
6. Regularized Image Recovery in Scattering Media

作者： Yoav Y. Schechner, Yuval Averbuch
出处： IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE
时间：		2007年
方法： 正则化

论文简介： 在散射媒介中的正则化图像复原。论文在基于物理原因的复原方法难以去除噪声以及透射率低的基础上，提出一种自适应的过滤方法，即能明显的改善可见性，又能抑制噪声放大。本质上，恢复方法的正规化，是适合变化媒介的透射率，因此这个正则化不会模糊近距离的目标。
7. Objectively  assessing  underwater  image  quality for  the  purpose of automated restoration

作者：  Weilin  Hou, Alan  D.  Weidemann
出处：  Visual Information Processing 
时间：		2007年
方法： GSA

论文简介： 论文提出一种基于对边缘进行GSA（灰度规范角度）加权的测量图像清晰度的方法。图像首先被小波变换分解，去除部分随机噪声，增加真实边缘检测的可能性。每个边缘锐度由回归分析方法基于灰度的一个角的正切来确定边缘像素的灰度值之间的斜率和位置。整个图像的清晰度是平均每个测量的GSA的比例加权的第一级分解细节的量，作为图像的总功率，最后通过图像噪声方差自适应的边缘宽度。
8. Active polarization descattering

作者：  Treibitz, T. Schechner, Y. Y.
出处：  transactions on pattern analysis and machine intelligence
时间：		2009年
方法： 利用偏振技术

论文简介： 论文提出了基于主动偏振的人工光照下水下图像处理技术。在宽场人工光照下的水下成像中,在光源端或相机端安装可调偏振器。通过调整光源或相机端的偏振器,同时拍摄两幅或多幅同一场景的图像,从两幅图像中可估计出背景光的偏振度。结合水下成像物理模型,就可以进行图像复原和场景3D信息估计。该方法操作简单,设备筒易,适用于水下画定目标的成像。

大范围人工照明条件下研究成像过程,基于该成像模型,提出一种恢复object signal的方法,同时能获得粗糙的3D scene structure.相机配备检偏振器,瞬间获取同一场景的两帧图片with different states of the analyzer or light-source polarizer,然后用算法处理获取的图片.它统一并推广了以前提出的基于偏振的方法.后向散射可以用偏振技术降低,作者在此基础上又用图像后处理去除剩余的后向散射,同时粗糙估测出3D场景结构.创新：之前的方法有的认为目标物反射光的偏振度可以忽略(即认为只有后向散射是偏振的)；另外还有的认为后向散射的偏振度可以忽略(即认为只有目标物反射光是偏振的)。本文作者认为两者都是部分偏振光。
9. Seeing through Water: Image Restoration using Model-based Tracking

作者：  Yuandong Tian and Srinivasa G. Narasimhan
出处：  IEEE International Conference of Computer Vision (ICCV)
时间：		2009年
方法： 湍流模型

论文简介： 论文在没有应用任何标准模式、图像先验、多视点或主动照明的条件下同时估算了水面形状和恢复水下二维场景。重点是应用水面波动方程建立紧凑的空间扭曲模型，基于这个模型，提出一个新的跟踪技术，该技术主要是解决对象模型的缺失以及水的波动存在的复杂的外观变化。在模拟的和真实的场景中，文本和纹理信息得到了有效的复原。
10. Single Image Haze Removal Using Dark Channel Prior

作者：  Kaiming He, Jian Sun, Xiaoou Tang
出处：  CVPR
时间：		2009年
方法： 暗通道先验

论文简介： 论文提出暗通道先验算法复原有雾图像。暗通道先验是一系列户外无雾图像的数理统计，基于观察户外无雾图像的大部分补丁补丁中包含至少一个颜色通道中低强度的像素点。在有雾图像中应用这些先验，我们可以直接的估算雾的厚度，复原成高质量的无雾图像，同时还能获得高质量的深度图。
11. Comparative Study on Several Blind Deconvolution Algorithms Applied to Underwater Image Restoration

作者：  Fan F., Yang K., Xia M., Li W., Fu B. and Zhang W.
出处：  Optical Review
时间：		2010年
方法： 盲反卷积法

论文简介： 论文比较研究了盲反卷积算法中的：R-L算法（Richardson-Lucy）、最小二乘法以及乘法迭代法。并且应用了水下图像去噪和威尔斯小角度近似理论推导出点分布函数。通过执行威尔斯的小角度散射理论和模糊度量方法对三种盲反卷积算法进行比较，确定总迭代次数和最佳图像复原结果。通过比较得出：最小二乘算法的复原率最高，但是乘法迭代的速度最好。
12. Underwater image restoration by means of blind deconvolution approach

作者：  Fan F., Yang K., Xia M., Li W., Fu B. and Zhang W.
出处：  Frontiers of Optoelectionics in China
时间：		2010年
方法： 盲反卷积法

论文简介： 论文提出点扩算函数（PSF）和调制解调函数（MFT）的方法用于水下图像复原，应用基于威尔斯小角度近似理论来进行图像增强。在本文中作者分析了水下图像退化的原因，在强化超快激光成像系统中采用了距离选通脉冲的方法，降低了反向散射中的加性噪声。本文对图像的基本噪声模式进行了分析，并使用算术平均滤波首先对图像进行去噪，然后，使用执行迭代盲反褶积方法的去噪图像的初始点扩散函数的理想值，来获得更好的恢复结果。本文通过比较得出，盲反褶积算法中，正确使用点扩散函数和调制解调函数对于水下图像复原的重要性。
13. Underwater Image Restoration Using Fusion and Wavelet Transform Strategy

作者：  Fan F., Yang K., Xia M., Li W., Fu B. and Zhang W.
出处：  Front. Opto electron. China
时间：		2010年
方法： 图像融合和小波变换

论文简介： 本文提出一种图像复原的新方法，该方法不需要专门的硬件、水下条件或现在知识结构只是一个与小波变换的融合框架支持相邻帧之间的时间相干性进行一个有效的边缘保留噪声的方法。该图像增强的特点是降低噪声水平、更好的暴露黑暗区域、改善全局对比、增强细节和边缘显著性。此算法不使用补充信息，只处理未去噪的输入退化图像，三个输入主要来源于计算输入图像的白平衡和min-max增强版本。结论证明，融合和小波变换方法的复原结果优于直接对水下退化图像进行去雾得到的结果。
14. UnderwaterImage Processing: State of theArt of Restoration and Image Enhancement Methods

作者： Raimondo SchettiniandSilviaCorchs
出处：  EURASIP Journal on Advances in Signal Processing 
时间：		2010年
方法： 综述

论文简介： 本文是一篇综述性质的论文。介绍了：1、水下光学成像系统 2、图像复原的方法（对各种图像复原方法的总结） 3、图像增强和颜色校正的方法总结 4、光学问题总结。
15. Region-specialized underwater image restoration in inhomogeneous optical environments

作者： Zhe Chen, Huibin Wang, Jie Shen, Xiaofang Li, Lizhong Xu
出处：  Optik
时间：		2013年

论文简介： 论文针对普通水下图像处理的方法不适用于水下非均匀光场中的问题，提出一种基于专业区域的水下非均匀光场图像复原方法，在该算法中，考虑去除噪声和颜色补偿，相对于普通的水下图像复原和增强算法，该方法获得的复原复原的清晰度和色彩保真度通过视觉评估，质量评估的分数也很高。
16. Automatic Red-Channel Underwater Image Restoration

作者： Adrian Galdran, David Pardo, Artzai Picón, Aitor  Alvarez-Gila
出处：  Journal of Visual Communication and Image Representation
时间：		2014年
方法： R通道

论文简介： 论文基于水下图像的衰减与光的波长的关系，提出一种R通道复原方法，复原与短波长的颜色，作为水下图像的预期，可以对低对比度进行复原。这个R通道复原的方法可以看做大气中有雾图像的暗通道先验方法的变体。实验表明，该方法在人工照明领域应用良好，颜色校正和可见性得到提高。
17. Image Enhancement and Restoration Methods for Underwater Images

作者： C. J. Prabhakar, P. U. Praveen Kumar
出处：  Research Developments in Computer Vision and Image Processing
时间：		2014年
方法： 综述

论文简介： 作者对各种水下图像增强和复原的算法做了调查和综述，然后对自己的提高水下质量的方法做了介绍。作者依次用到了过滤技术中的同态滤波、小波去噪、双边过滤和对比度均衡。相比于其他方法，该方法有效的提高了水下目标物的可见性。
18. Restoration of images degraded by underwater turbulence using structure tensor oriented image quality (STOIQ) metric

作者： A.V. Kanaev and W. Hou
出处：  Optics Express
时间：		2015年
方法： 基于湍流模型

论文简介： 论文应用湍流退化模型以质量标准为导向复原因水下湍流退化的图像。参考大气湍流图像复原的算法，省略了盐分的影响，只考虑水中波动引起的湍流对水下成像的影响，应用一种自适应的平均各向异性的度量标准进行水下图像复原。经过验证，使用STOIQ的方法优于双频谱的复原方法。
19. Underwater image quality enhancement through integrated color Model with Rayleigh distribution

作者： Ahmad Shahrizan Abdul Ghani and Nor Ashidi Mat Isa
出处：  Applied Soft Computing
时间：		2015年
方法： 基于RGB颜色模型和小波变换

论文简介： 本文提出了一种新的方法来提高对比度和降低图像噪声，该方法将修改后的图像直方图合并入RGB和HSV颜色模型。在RGB通道中，占主导地位的直方图中的蓝色通道以95%的最大限度延伸向低水平通道，RGB通道中的低水平通道即红色通道以5%的最低限度向上层延伸且RGB颜色模型中的所有处理都满足瑞利分布。将RGB颜色模型转化为HSV颜色模型，S和V的参数以最大限度和最小限度的1%进行修改。这种方法降低了输出图像的欠拟合和过拟合，提高了水下图像的对比度。
20. Underwater Image Restoration by Red-Dark Channel Prior and Point Spread Function Deconvolution

作者： Chia-Yang Cheng, Chia-Chi Sung, Herng-Hua Chang
出处：  IEEE International Conference on Signal and Image Processing Applications (ICSIPA)
时间：		2015年
方法： R通道先验、PSF  低通滤波器

论文简介： 论文根据简化的J-M模型提出一种水下图像复原的有效算法。在论文中定义了R通道，推导估算得到背景光和变换。场景可见度被深度补偿，背景与目标物之间的颜色得到恢复。通过分析PSF的物理特性，提出一种简单、有效的低通滤波器来去模糊。论文框架如下：1.重新定义暗通道先验，来估算背景光和变化，在RGB的每个通道中通过标准化变换来复原扭曲颜色。2.根据PSF的性能，选择没有被散射的光，用低通滤波器进行处理来提高图片的对比度和可见度。
21. Review on Underwater Image Restoration and Enhancement Algorithms

作者： Ruoqian Wang, Yafei Wang, Jun Zhang, Xianping Fu
出处：   International Conference on Internet Multimedia Computing and Service
时间：		2015年
方法： 综述

论文简介： 论文中对当代水下图像处理的复原与增强做了综述，作者阐明了两种方法的模型的假设和分类，同时分析了优缺点以及适用的场景。

随着新一代信息技术的快速发展和与先进制造技术的不断融合，以智能制造检测为代表的新一轮产业转型已在全球范围内出现。我国水下勘探的探索方向主要有水下主动照明成像、激光扫描成像和距离选通成像。其中水下激光扫描成像系统由于水体对准直光束的扩散和硬件设备的不完善限制了图像的成像分辨率。而光学偏振成像技术由于其相比于传统的水下主动照明成像系统具有能够获取多维的偏振信息的特点，可以利用目标物对偏振光的不同退偏振能力来区分目标与背景[1]，而且偏振系统相较于其他系统研究成本低，因而广泛应用于复杂环境下目标探测和图像质量增强等技术研究中。
偏振成像是基于传统光强图像成像技术的基础上，通过获取受到偏振光学器件调制后的光强图像，从而获取光束的偏振特性图像。在成像过程中，偏振光入射到不同物体的表面产生相互作用，将会对光束的偏振特性进行不同的调制，从而产生不同的偏振态的光束[2]。长春理工大学提出了将同步扫描技术与偏振技术相结合的实验方案，并在实验中提高了水下成像距离和清晰度，但系统的稳定性还需要进一步优化[3]。综合利用场景光的偏振信息和光谱信息提高光电成像系统的探测识别能力，是国内外研究的热点[4]。以HUANG B[5]、DUBREUIL M[6]的研究为代表，利用散射光的偏振特性分离场景中目标信息光和背景散射光，可获取清晰的目标图像。激光水下偏振成像特征融合算法主要有图像边缘融合方法[7]、纹理信息滤波算法[8]、Fraunhofer圆孔衍射方法等[9]。在KRISHNAN D和FERGUS R[10]等人提出的基于超拉普拉斯先验的图像去模糊算法的基础上,秦绪佳[11]等人提出了一种改进的基于超拉普拉斯约束的单幅图像去模糊算法,提高了去模糊算法效率。
在现有的研究基础上，本文将不同角度的图像分解为多尺度的金字塔图像序列，结合高斯卷积和权重融合系数，得到一系列的差值融合图像，增强了图像细节的融合，并且通过调节激光器的发射频率来改善偏振成像系统中的照射激光光源环境。本系统通过实验证明，在衰减系数为2.1的海水环境中，水下成像距离达到6 m，能清晰识别水中物体及其特征。SNR值和SSIM值分别用作成像对比度和分辨率的评估标准，客观地评估成像性能。
1 偏振成像系统原理
偏振成像技术检测技术是利用不同物体的表面偏振度不同而进行目标识别[12]。水下成像系统中采用偏振系统是根据目标表面的反射光与水下粒子散射光之间的退偏度不同，偏振器有效滤除水体杂光散射，增强了目标物体的反射光能力，在一定程度上有效地减少了后向散射光，提高图片的信噪比。水下激光偏振系统光路图如图1所示。
发射光的Stokes矢量Sout和入射光的Stokes矢量Sin之间有如下关系，
根据测量目标表面任意点处的反射光波偏振度，根据对所有点的依次运算，以获得目标表面中所有点的偏振度。获得数字矩阵D后，再通过数值图像化处理将D矩阵转换到图像灰度值空间中，数字矩阵以图像的形式显示，构成偏振度图像。
2 实验
实验照明光源采用长春新产业的532 nm YAG激光器LPS-532-S-100 mJ，输出的激光波长为1 060 nm，经倍频后为532 nm的绿光。考虑到水对不同波长的光的吸收特性，选取MD Vision CCD作为接收器，其光谱范围为430~656 nm，单个像元为10.8 μm，满足检测系统精度条件。偏振光学系统中的光学器件选择武汉优光的扩束器、衰减器、偏振器、λ/4波片和窄带滤波器。其实物装置图如图2所示。
从目标反射回来的光波作为待测入射光，偏振片可以通过透光轴方向旋转，不同偏振角度下的成像清晰度不同，图3分别记录偏振片透光轴在3个不同角度时目标的图像。图4为3个角度的特征融合原始图像。
由于光线被水体介质吸收，图像中目标物的边缘模糊，有待进一步对图像的增强处理来增加图像的细节显示。
3 基于权重融合系数的增强算法
对于单幅水下图像，首先进行降噪增强处理，再对图像进行3种权重分布图的计算得到融合系数权重图，最后将融合系数权重图与偏振图像进行Laplacian融合得到增强的结果图。流程如图5所示。
3.1 图像预处理
首先，对图像进行直方图均衡预处理以增强图像显示效果。直方图均衡化又称直方图平坦化，即对原图像的质量分布图通过非线性拉伸转为均匀分布的形式，重新分配图像象元值,使一定灰度范围内象元值的数量大致相等，从而增强整体图像的对比度，改善水下图像中各种亮度的比例大部分是不均匀分布的情况。
3.2 权重图
最终在图像上的关键细节呈现是非常重要的，如边缘细节、显著性区域的清晰度和局部区域的对比度。要在图像融合阶段突出这些特征信息，必须对这些局部像素的值进行权重分布，这样最终融合图像可以在这些细节可以得到体现。
(1)局部对比权重系数图
局部对比系数表征了每一个像素与周边像素之间的对比关系，其目标是突出图像中边缘等细节信息，其公式表达如下：
其中，I是源图像，IC是源图像经过低通滤波后的图像。低通滤波图像是通过对源图像I与卷积核H进行卷积获取。
(2)显著性区域权重图
图像的主要信息仅集中在几个关键区域，人们通常关注图像轮廓最大或轮廓方向突然变化的区域。这些信息可用显著图来体现。与增强的全局对比度不同，显着图可以突出显示原始图像的边缘；进一步增加其局部区域的轮廓相应的权重值，增强图像对比度。
(3)曝光权重图
曝光权重图表征像素的曝光特性，利用曝光值的估计来评估像素的合理灰度值，其公式如下：
其中，I(x，y)为源图像，σ可以选取固定值0.25。对于灰度值差异大的像素，将获取更大的权重值。
图6的3分图分别是输入图像的曝光权重图、局部对比度权重图和显著性区域权重图。分别将3幅权重图进行加权融合得到融合系数权重分布图，如图7所示。
3.3 Laplacian金字塔融合
单幅水下彩色图像经过降噪增强处理后，得到了均衡化的图像I。同时通过3种权重系数的设计，图像分别各计算得到3幅权重图WLC、WS、WE。将图像对应的权重图分别进行归一化，然后对3个权重图进行加权融合，得到新的系数：
将偏振图像结合图7的融合系数权重分布图进行Laplacian金字塔融合，即：
其中，Gl表示高斯金字塔分解，Ll表示Laplacian金字塔分级。得到结果如图8所示。
为了对图8图像增强算法的结果图片进行客观评价，将小波变换的融合方法与本实验算法进行对比，小波变换算法实质上是将图像信息分解为不同空间维度上，然后对不同空间的信息进行线性处理，增强图像效果[13]。若将小波变换方法简单地用于图像增强，在图像增强的同时也放大了噪声。用“软阈值”的小波图像增强方法可以在增强的同时有效地抑制噪声[14]，然而有时会产生振铃现象。小波变换的处理效果图如图9所示。
对图像进行SNR(Signal to NoiseRatio)值和SSIM(Structural Similarity)值的评估。SNR评估的方法是将一幅图像分割成若干个局部区域，计算局部区域的方差值，然后选取最大值与最小值的比较进行SNR的计算。SSIM评估图像的结构相似性，并且是用于测量原始图像与偏振图像和两个图像之间的相似性的指示符。
表1为分别采用本文算法和小波变换图像融合算法对偏振图像的增强测试结果的数值评估表。
从表1中的数据可以看出，两种算法都不仅在主观视觉上可以明显看出图像增强的效果，在客观数据上也较好地改善了SNR和SSIM两个评价值，获得了较好的图像增强效果，由于本文采用不同偏振角度下的偏振图像特征融合，并在此基础上进行权重系数图像融合，这使图像细节对比度得到了比较大的提升，可以提取出更多的特征信息，用来进行水下图像的内容分析。
4 结论
本文主要是采用水下偏振光学成像技术获取图像，对水下的几个图像质量提升方向进行了研究。在实验中,对发现的问题和不足提出了可行的改善方案,如在实验中添加滤波片以改善实验室中存在的非绿光波段杂散光干扰,对于目前不能解决的问题,提出了后续解决方案,为后续研究提供了解决问题的思路。
参考文献
[1] 王维.偏振光谱成像目标识别系统[J].电子技术应用，2016，42(12)：73-75.
[2] 张玉梅.全Stokes偏振成像技术的研究[D].南京：南京理工大学，2015.
[3] 袁婷.激光水下成像系统研究[D].长春：长春理工大学，2013.
[4] ARNOLD-BOS A，MALKASSE J P，KERVERN G.Towards a model-free denoising of underwater optical images[C].Oceans，2005.
[5] HUANG B，LIU T，HU H，et al.Underwater image recovery considering polarization effects of objects[J].Optics Express，2016，24(9)：9826-9838.
[6] DUBREUIL M，DELROT P，LEONARD I，et al.Exploring underwater target detection by imaging polarimetry and correlation techniques[J].Applied Optics，2013，52(5)：997-1005.
[7] 温佳，马彩文，水鹏朗.改进自适应LBG矢量量化算法在干涉高光谱图像压缩中的应用[J].光谱学与光谱分析，2011，31(4)：1033-1037.
[8] 张晓玲，张培强，沈兰荪.基于信息量失真测度的VQ及在高光谱图像无损压缩中的应[J].遥感学报，2004，8(5)：414-418.
[9] 刘仰川.基于预测与JPEG2000的高光谱图像无损压缩方法研究[J].激光与红外，2012，42(4)：452-457.
[10] KRISHNAN D，FERGUS R.Fast image deconvolution using hyper-Laplacian priors[C].International Conference on Neural Information Processing Systems，2009.
[11] 秦绪佳，柯玲玲，范颖琳，等.改进的超拉普拉斯约束的单幅图像去模糊算法[J].小型微型计算机系统，2018，39(5)：235-240.
[12] 安雨飞，林军，山其君，等.一种基于偏振原理和FPGA的调光系统设计[J].电子技术应用，2011，37(1)：71-73.
[13] 赵满庆.基于小波变换的图像处理技术[J].电子技术与软件工程，2018，132(10)：73.
[14] 方勇，戚飞虎.基于软阈值的小波图像增强方法[J].计算机工程与应用，2002(23)：16-19.
作者信息:
李 蕾1，2，郭天太1，潘孙强2，陈 欢2，赵 军1，孔 明1
(1.中国计量大学，浙江 杭州310000；2.浙江省计量科学研究院，浙江 杭州310000)

本博文为本人调研水下图像增强时做的一些笔记。可能整理得不是很清晰，仅仅供个人学习记录用~欢迎各位交流~

 

目录

背景

研究现状（常用的方法）

非物理模型的图像增强方法

白平衡方法

直方图均衡化方法

基于Retinex的方法

基于暗通道先验的方法（去雾的方法）

基于卷积神经网络的方法

基于物理模型的图像复原方法

水下图像成像理论

水下成像系统

水下散射模型

水下退化图像模糊类型

高斯模糊

运动模糊

散焦模糊

图像质量评价标准

参考资料：

 

背景

对于水下作业，特别是水下机器人作业等场景，水下图像增强具有广阔得应用前景（水下机器人主要是靠它的视觉系统来判断周围的环境信息，水下机器人的视觉系统就好比人体的眼睛，它可以为机器人提供了水下目标位置信息，根据目标的位置信息，研究人员可以对目标进行监测与追踪，它还可以将获得的环境实时状态一起抽象为供机器人管理的环境模型。）。基于声视觉和基于光视觉的水下目标检测识别技术是目前主流的水下目标检测识别技术。基于声视觉的水下目标检测识别技术是通过声呐实现的，但其图像信息采集能力弱，生成图像清晰度低。基于光视觉的水下目标检测识别技术则是通过光视觉传感器实现的，成像分辨率高的光视觉传感器更适用于短距离的目标识别和精确定位。二者相比，基于光视觉的水下目标检测识别技术在水下捕捞机器人应用中优势更为明显

基于光学的水下小目标检测识别是水下捕捞机器人智能化作业的关键。然而，基于光视觉的水下目标检测识别技术同样面临着巨大的挑战，其主要原因是海洋复杂成像环境导致光视觉系统获取到的水下图像严重退化（水下图像的衰退主要包括：光线吸收导致的颜色偏差，光线前向散射导致的细节模糊和光线后向散射造成的低对比度），出现颜色衰退、对比度低以及细节模糊等现象。首先，由于水对光的吸收作用，光线在传输过程中就会发生能量衰减，在一般情况下，红光在水中衰减最快，衰减最慢的是蓝绿色光线；另外，由于光在水中的散射作用也会造成水下图像成像效果不好。散射效应又分为前向散射和后向散射，前向散射的意思是水中物体反射的光向摄像机传输的过程中发生的小角度偏离原来的传输方向的散射现象；后向散射的意思是光线在照射到水中物体时遇到水中的杂质就会发生散射直接被摄像机接收的散射现象，导致图像对比度低。

严重退化的水下图像由于缺少用于目标识别的有效信息，导致水下目标检测识别难度提升。随着高科技水下成像设备的发展，获取的水下图像的质量也得到了一定程度的提升，但仍然存在颜色衰退、对比度低以及细节模糊等现象，此外实际应用成本也是需要考虑的问题，因此对水下图像进行增强仍然有其必要性。

水下图像处理技术的算法可以根据是否基于水下成像模型分为图像增强算法和图像复原算法两种。图像增强方法是对得到的水下图像的像素点进行研究增强，算法过程中不需要考虑图像的形成过程和降质过程；图像复原方法是要根据水下图像的成像过程来获得出真实的情况。图像复原方法需要水体的光学参数、摄像机参数和摄像机与目标物体的距离等信息，这些信息都要通过人工测量或其他方法估测出这些值。

水下视觉探测技术的重点和难点有两个方面，一是水下光传感设备参数的标定，另一个是水下模糊图像的复原。由于水质的复杂性，导致光线在水下的传播有折射、散射等现象，同时可能存在的浑浊水质也是导致水下图像退化的主要原因，水下图像就因为这种降质因素产生了严重的模糊。目前科学技术处理这种模糊还存在一定的难度。由于无法获得原始的水下清晰图像，以及无法精确测量到导致水下图像发生退化的模糊函数，水下图像复原技术的应用一直受到限制，也间接限制了水下探测等技术的发展。因此如何根据水下图像的形成机制和水下图像发生退化的原因，建立一个合理的水下图像退化的物理模型，同时使得该物理模型能够实际应用，能够通过软硬件手段估计得到模糊函数来复原水下图像是目前的研究重点，具备实际的研究价值和意义。(由于水下环境的复杂，且难以获得ground truth，故此若采用DL来做，其中一个难点就是如何获取成pair的训练数据，除非采用无监督学习)

 

研究现状（常用的方法）

受水下光传播过程中的衰减和散射的影响，在纯水区域中，水下能见度一般为20m，在浑浊海水中的能见度一般只有 5m。

McGlamery在 1979 年搭建了经典的计算机水下成像系统模型。他发现，摄像机水下成像系统获得到的光能量可以分成三个部分：直接传输的光能量、前向散射的光能量和后向散射的光能量。

在图像处理中，图像复原又叫做图像恢复，该项技术有着广泛的应用领域。同时图像复原技术又与其他图像技术之间有着一定的联系，比如：与图像增强相比，两种技术在一定程度上都是针对图像进行改善，从而提高图像质量。但是这两项技术有着不一样的图像质量评价指标和不同的设计算法。相对而言，图像增强一般是增强视觉感受，偏向于人的主观判断，丢失的细节信息不会得到修复。而图像复原计算则是根据图像退化的模型，进行图像建模，设计一定的代价函数来优化逆问题，从而估计出原始图像和模糊函数。经典的图像复原方法一般都是基于先验知识设计的，已知的先验知识越多，复原出来的效果就越好。但是，在实际应用中，先验知识往往都是未知的。因此经典的方法限制了实际的应用。

已知图像在采集、传输、储存和处理过程中，会出现畸变、模糊、失真和附加噪声的影响，造成图像发生降质，这种现象一般称为图像退化。图像复原的关键在于建立图像退化模型，此退化模型应该能反映图像退化的原因。造成图像退化的原因很多，典型原因表现为：成像系统的像差、畸变、带宽有限造成图像失真；太阳辐射、大气湍流、云层遮挡等造成的遥感图像失真；由于成像器件拍摄姿态和扫描非线性引起的图像几何失真；成像传感器与被拍摄景物之间的相对运动，引起所成图像的运动模糊；光学系统或成像传感器本身特性不均匀，造成同样亮度景物成像灰度不同；由于场景能量传输通道中的介质特性如大气湍流效应、大气成分变化引起图像失真；图像在成像、数字化、采集和处理过程中引入的噪声等。

（tips：傅里叶变换是一种频域变换，是将图像的空间域信息转换到频率域中，傅里叶变换的应用一般是将在空域中不明显的信息或隐藏的信息转换到频域中，使其在频域中很明显地显现出来。）

传统的图像增强方法有很多种，主要分为两大部分：空域图像处理和频域图像处理。空域图像处理方法直接针对图像的像素点，以灰度映射为基础来改善灰度层级，例如直方图均衡化、限制对比度直方图均衡化、灰度世界假设等，此外，还可以通过滤波的方式对图像去除噪声达到图像增强的目的，例如中值滤波、均值滤波等；频域图像增强方法则通过各种频域变换，如傅里叶变换、小波变换等，可以间接地增强图像。国内外很多学者采用空域和频域方法对水下图像进行了增强，传统的图像增强算法在一定程度上可以消除图像模糊、增强边缘等，但仍存在噪声大、清晰度较低和颜色失真等问题，因此还需要进一步加强和完善。

目前，用于增强或复原水下图像的处理方法大致可分为非物理模型的图像增强方法和基于物理模型的图像复原方法。

非物理模型的图像增强方法

图像增强技术不必过多考虑图像成像的过程和模型，可以叫非物理模型方法，这种方法力图通过单纯的图像处理手段提高水下图像质量，通过调整图像的像素值来改善视觉质量，不过实现过程往往较为复杂。

该类方法采用直接调整图像像素值的方式改善图像质量，并不考虑水下图像退化的物理过程（就是没有考虑退化模型、水下得信道），属于图像增强范畴。

在水下图像增强技术研究早期，对水下图像的处理经常直接应用一些空气中传统的的图像增强算法，传统的图像增强算法可以分为空间域法与频域法。空间域方法是对图像中的像素点直接处理，采用灰度映射的方法，比如选取合适的映射变换来增加图像的对比度，改善图像灰度级等。频域法是一种间接的图像处理方法，运用变换技术把图像映射到某种变换域内，然后利用变换域中特有性质进行某种滤波处理，再反变换到空间域内，即得到增强后的图像。常被应用到水下图像传统空间域增强算法有直方图均衡化、限制对比度直方图均衡化、灰度世界假设和白平衡算法等，频域增强算法有傅里叶变换、小波变换和滤波技术，主要包括低通滤波，高通滤波和同态滤波等。目前图像增强算法往往存在可能只是对某一类的图像增强效果好，而其他类型的效果不好的特点，而且由于水下环境的特殊性，仅仅通过研究把传统的图像增强算法应用在水下图像上无法彻底解决水下图像退化问题。

水下图像増强算法研究早期，传统的图像处理方法，例如白平衡，灰度世界假设和灰度边缘假设等颜色修正算法，直方图均衡化和限制对比度直方图均衡化等对比度增强算法，多被用来增强水下图像。相比于处理普通图像获取的较好的结果，这些方法在处理水下图像获取的结果并不理想，其主要原因是海洋环境复杂，多重不利因素如水介质对光线的散射、吸收作用以及水下悬浮粒子等对其产生严重干扰。考虑到水下图像存在的颜色衰退、低对比度以及模糊等特点，研究人员往往从图像颜色、对比度、细节等方面入手对水下图像进行增强。

白平衡方法

在不同光源照射下，观察同一个物体会发现其呈现的颜色是不同的，原因是不同光源具有的不同色温造成目标物体的反射光线光谱偏离其“真实”颜色。当同一白色目标物体在被高色温光源照射（如阴天时）将会表现为蓝色，被低色温光源照射（如床头灯等）将会表现为姜黄色。白平衡方法能够根据图像所呈现的色温纠正图像的色彩偏差，其具体实现过程建立在朗伯特反射模型上。

朗伯特反射模型表示反射图像主要与三项因素有关：光源光谱分布、物体表面的反射率以及成像设备感光函数。针对彩色图像，即包含ＲＧＢ三个颜色通道的图像，图像呈现的场景中某物体表面上的空间坐标点x的颜色可用朗伯特反射模型表示为：







白平衡方法以上述朗伯特反射模型为基础，考虑到传统的以标准白色参照物进行颜色校准的白平衡方法在实际应用中具有很大的局限性，研宄人员提出了多种白平衡算法纠正图像的色彩偏差。白平衡方法应用场景一般为普通偏色情况，对于并不严重的偏色可以起到较好的恢复作用，但是水下偏色情况一般较为严重，因此需要继续研究可以对水下颜色衰退起到良好恢复作用的白平衡算法。

直方图均衡化方法

将图像的灰度直方图从较为集中的某灰度区间均匀拉伸至全部灰度范围内，用以扩大图像灰度值的分布范围，提升图像对比度并突出部分细节效果。

 

基于Retinex的方法

Retinex 理论是 20 世纪 70 年代最早由 Land提出的一种基于颜色恒常性的理论，该理论基于三个假设：（1）真实世界是无颜色的，人类所见到的颜色是光与物体相互作用的结果；（2）每一种颜色由红、绿、蓝三原色组成的；（3）三原色决定了每个单位区域的颜色。Retinex 算法可以对不同类型的图像进行自适应增强，比传统的单一的图像增强算法具有更好的自适应性，因为传统的增强算法只能增强图像的某一类特征，而Retinex 增强算法则可以在动态范围内压缩、细节增强和颜色校正等方面达到较好的平衡效果，因此，Retinex 理论得到了广泛的发展和应用。

 

基于暗通道先验的方法（去雾的方法）

DCP是一种去雾的图像增强方法（恺明神提出的方法）。接下来会写一篇博客专门对这种方法进行分析。

对于水下图像增强而言，跟去雾有很多相似的特性。故此在去雾中的一些方法也适用于水下图像增强。

 

 

基于卷积神经网络的方法

基于卷积网络的图像去雾、去模糊、图像盲复原等任务跟水下图像增强有异曲同工之妙。但是关键点在于训练集的获取以及卷积模型的泛化能力上。

其实对于运算量和实时性而言。个人觉得卷积网络只要训练好了，后面的使用过程是非常方便的。但是对于水下如此复杂的退化环境，要训练出一种泛化能力足够强的网络才是难点所在。与此同时，需要有相应的数据集的定制，也是难点所在。

 

 

基于物理模型的图像复原方法

该类方法针对水下图像退化过程构建数学模型，通过该模型反演图像退化过程，获得理想状态下未经退化的图像，属于图像复原范畴。（两种方法感觉好像有点类似于图像复原中的成pair的训练和不成pair的训练）

水下图像复原技术是基于物理模型的方法，是指对水下图像退化过程搭建一个合理的数学模型估算出模型参数信息，了解整个图像的退化过程使水下图像恢复到退化前的状态。图像复原技术适用范围更广，但是往往需要场景先验信息或深度信息来实现图像复原。

受图像处理和质量衡量方法的多样性的影响，对于水下图像处理结果的选取只能从其应用目的和场合入手，水下图像增强算法的研究仍然有待深入研究和完善。海洋的环境多种多样，必须要用应用的目的和场合入手来进行合适的水下图像增强。

 

水下图像成像理论

海水是一种化学成分非常复杂的混合物，它包含着以物理化学形态存在的各种元素，通常在海水中还含有悬浮体和各种活性有机体，如细菌、浮游生物和矿物颗粒等，使得海水存在不均匀性。水中悬浮颗粒的存在，使得光线在水下容易发生折射、散射，同时水对光线具有一定的吸收和衰减特性。即使是经过过滤的最纯净的水，它对光的衰减也是很严重的。实验表明，水的衰减是光波长的复函数，它是由两个不相关的物理过程（即吸收和散射）引起的，因此光在水中传输时的能量按指数规律迅速地衰减。一般对于清澈的海水，60％的衰减是由散射引起的，40％的衰减是由吸收引起的。

在水中，光是按照指数衰减的方式进行运动，这种衰减限制了相机到目标物的距离，并非常严重的影响了水下的成像系统的性能，通常情况下，吸收造成了光能量的损失，散射造成光传播方向的改变，前向散射是水下物体到摄像机的过程中发生小角度偏离的光线，这种散射造成了图像清晰度低，而后向散射是从存在的太阳光或者人工光源到摄像机的过程中遇到悬浮小颗粒散射到相机的偏离光，这种散射会造成图像对比度低。

 

水下成像系统

水下成像系统获取的图像严重衰退，其主要原因是水下环境中能见度较低，清澈水中的能见度大约为二十米，浑浊水中的能见度则大约在五米之内。这种能见度降低源于光线在水中的衰减。朗伯－比尔经验定律表示，光线在媒介中以指数形式衰减，媒介的特性将直接影响光线的衰减程度。

根据光衰减模型





自然光入射到水中，水中介质对光线有散射和吸收的作用。水中光线衰减模型可以表示为：



水下成像系统如下图所示。其中，光线散射分为前向散射和后向散射，前向散射光作为目标表面反射或辐射经水中悬浮粒子散射后进入成像系统的光，将导致成像系统获取的图像呈现模糊的现象；后向散射光作为自然光入射到水体经悬浮粒子散射后进入成像系统的光，将导致成像系统获取的图像呈现低对比度的现象。采用人工光源对水下成像过程进行主动照明能够对上述现象起到一定程度的改善作用，但人工光源的光强以光量最强点为中心沿径向逐渐衰减，将导致获取的图像存在背景灰度不均、假轮廓、假细节和自阴影等情况，同时人工光源在浑浊水中能够发挥的作用非常有限。



水中介质对光线的散射作用会导致获取的图像存在模糊及低对比度的现象，而水介质对光线的吸收作用则将会造成获取的图像出现颜色衰退的现象。水对光的吸收在不同的光谱区域是不同的，具有明显的选择性。水对光谱中的红外和紫外部分表现出强烈地吸收。在可见光谱区段，吸收最大的是红色、黄色和淡绿色光谱区域。纯净水和清澈的海水在光谱的蓝一绿区域透射比量大，其中波长 462~475nm 的蓝光衰减最少。水的吸收足以使光的强度每米衰减约4％，而其他颜色则更多，几米之外几乎完全消失。

如下图所示。水介质对光线的吸收效应是有选择性的，即水介质对不同波长的光吸收程度不同，红色光、橙色光和黄色光基本会消失在大约五米、十米、二十米水深处，而随着水深的进一步增加，绿色光也会逐渐消失，而蓝色光在六十米水深处才会基本消失（而对于LED光源而言，主要是蓝色芯片发光的，故此可能在这个程度上，有利？）。因此，一般获取的水下图像皆呈现蓝绿色调。



 

水下散射模型

相比于水对光的吸收作用，光在水中发生散射效应是造成水下图像降质的主要原因。

水体对自然光的散射作用受到水体中粒子的类别、大小和密度以及入射光的波长、角度以及偏振的共同影响（故此对于不同的海洋环境，有不同的粒子类别，散射模型也许也会不一样，从而大大增加了问题的多样性）。水下图像总照度=直接照射分量+前向散射分量+后向散射分量



直接照射分量是指经目标表面反射进入相机的并未被水体散射或吸收的光；前向散射分量是目标表面反射的经水中悬浮粒子散射后进入相机的光；后向散射分量则指的是自然光入射到水体后经悬浮粒子散射后进入相机的光。Jaffe-McGlamery模型假设光源以球状扩散并衰减，目标反射光可以由入射光和反射函数表示。直接照射分量的估计可以在假设目标物体为理想朗伯特体的基础上采用几何光学实现。前向散射分量是目标反射光在到达相机之前发生的小角度散射产生的，它的求解可以结合直接照射分量和点扩散函数的卷积算子实现。后向散射光进入相机的角度很广，其相应的后向散射分量则是通过体积散射函数对场景和相机之间的水体所分成的小水体进行加权，然后线性叠加得到的。该模型表示相机、成像范围、光源距离和水下环境都将对获取的水下图像产生影响。在短距离成像中，相机和光源简单组合即可获取质量较好的水下图像。在距离较长的成像范围内，独立相机和光源组成的系统将获取质量更好的水下图像，但是成像距离的增加将导致后向散射效应的凸显。

 

水下退化图像模糊类型

由于不同水下环境的复杂性，因此造成水下图像发生退化的原因主要可以分为：噪声和模糊。其中水下模糊可以分为三种类型：

1、水体或鱼群等运动造成的运动模糊；2、水下光线的散射或相机镜头未能达到理想的对焦的情况下造成的散焦模糊；3、水下湍流造成的高斯模糊。

高斯模糊

高斯模糊函数是最常见的模糊，对成像系统和光学测量系统来说，许多因素共同决定了系统的退化函数，综合的结果就是使退化函数趋于高斯模型。光学相机和 CCD 摄像机、显微光学系统、CT 机等等都属于这类系统。大气湍流和水下湍流也一样都会近似为高斯函数，其数学模糊可表示为：



运动模糊

运动模糊图像形成于目标的成像过程中，主要是因为在相机曝光的过程中拍摄目标与相机镜头之间发生相对位移而产生的一种图像退化现象，其数学模糊可表示为：



散焦模糊

一般，一个理想的点在成像平面上呈圆盘状光斑的现象叫做离焦模糊，这种模糊是由于成像系统未能达到理想的对焦状态而产生的。常采用的基于几何光学中提出的圆盘离焦模型，能很好的近似点扩散函数，有效解决离焦模糊的去模糊问题。用一个灰度值服从均匀分布的圆盘状光斑来表示 PSF，其数学模糊可表示为：



 

图像质量评价标准

图像质量评价指标是评估图像处理算法好坏的重要指标。图像质量通常指图像逼真度和图像可懂度。在图像处理的许多技术中，如：压缩、增强、超分、去噪、去模糊、去摩尔纹、复原等，都会涉及到图像质量评价。图像质量的含义主要包括图像的逼真度和图像的可懂度两个方面，其质量主要受成像装备的光学性能、仪器噪声和成像条件等多种因素的影响。图像质量评价方法主要分为两类：分别为主观图像质量评价方法和客观质量评价方法

对于客观质量的评价方法又分为有参考和无参考评价



 

 

 

 

 

参考资料：

《基于卷积神经网络的水下图像增强算法研究_丁雪妍》

《水下图像复原方法研究_王婷》