数字离散化模糊图像处理_数字图像处理 二维离散傅里叶变换 - CSDN
  • 图像模糊

    2013-10-26 12:06:23
    随着“平安城市”的广泛建设,各大城市已经建有大量的视频监控系统,虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所,但是在公安工作中,由于设备或者其他条件的限制,案情发生后的图像回放都...

    周报需要了解:

    (1)图像去模糊

    (2)视频监控技术

    (3)感知对象分割方法

    随着“平安城市”的广泛建设,各大城市已经建有大量的视频监控系统,虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所,但是在公安工作中,由于设备或者其他条件的限制,案情发生后的图像回放都存在图像不清晰,数据不完整的问题,无法为案件的及时侦破提供有效线索。经常出现嫌疑人面部特征不清晰,难以辨认,嫌疑车辆车牌模糊无法辨认等问题。这给公安部门破案、法院的取证都带来了极大的麻烦。随着平安城市的推广、各地各类监控系统建设的进一步推进,此类问题会越来越特出。

    第一章.模糊图像产生的原因

      造成图像模糊的原因很多,聚焦不准、光学系统的像差、成像过程中的相对运动、大气湍流效应、低光照、环境随机噪声等都会导致图像模糊。另外图像的编解码、传输过程都可能导致图像的进一步模糊。总体来说,造成图像模糊的主要原因有以下几大方面:

     1.系统自身因素

      一个全模拟监控系统中,从前端到后端由图像采集、图像传输、图像存储、图像显示等几个环节构成。在每一个环节或都会产生视频信息损失,也就是让图像质量变差或变模糊。

      镜头:影响进入摄像机的光通量和成像的精确性,会直接导致图像模糊;摄像机感光元件Sensor:影响到光信号的采集和光电转换效果,会直接导致图像模糊;视频传输电缆两端的BNC接头:因信号屏蔽的缝隙会造成信号损失,视频传输电缆经过长距离的传输,传输线缆的电阻、屏蔽、阻抗匹配等问题,都会引起信号的衰减,也会直接导致图像质量变差变模糊,监视器图像呈现端也会有一定的信号损失。

      在一个全数字视频监控系统中,采用网络传输,经过数字化编码的视频信号的传输和存储相对于模拟系统,可以更有效避免因信号衰减造成图像损伤。但是,在镜头、图像采集以及后端呈现时的图像信号耗损仍然无法避免。另外,在数字视频监控系统中,又增加了视频信号的A/D转换、视频编码压缩环节,这些环节仍会导致图像信息的损失。现有的视频压缩编码算法都是有损压缩,会直接导致视频信息的丢失,影响视频清晰度。

     实际生活中,以下情况都可以归结为系统自身因素.例如:

      (1)镜头聚焦不当、摄像机故障等。

            (2)传输太远、视频线老化

            (3)光学镜头的极限分辨率和摄像机不匹配导致的模糊;

      (4)相机分辨率低,欠采样成像。

    2. 自然环境

      除系统本身因素以外,自然环境对视频图像清晰度影响也非常大。若遇到刮风、下雨、下雪、大雾等自然天气,都会导致图像质量急剧下降或模糊不清。除此以外,还有照度不足、背光、逆光、温度过低或过高等,都会对图像还原系统造成影响,影响到图像清晰度。在光线不足的条件下,摄像机的Sensor成像会产生很多噪声,这些噪声会影响图像清晰度,而且会使图像编码的码流大幅增加。例如:

      (1)摄像机罩或镜头受脏污、受遮挡等。

      (2)大雾,沙尘、雨雪等环境影响等。

    3.人为环境

      供电系统的电源不“干净”,即窜入比较强的干扰信号,具体是指在50Hz的正弦波上叠加有干扰信号,如果电网中有大功率可控硅调频调速装置、可控硅整流装置、可控硅交直流变换装置等都会对电源产生污染。

      电视监控系统附近有很强的电磁干扰源或电磁辐射。电磁干扰源如电焊、无线电发射、大电机、大继电器的干扰等,也会导致对视频信号干扰。电磁干扰会导致图像有间距相等的竖条或图像呈规律性闪烁条纹等,从而导致图像模糊。还有,就是人为破坏导致,比如被弄得难以识别的车牌等,致使摄像机无法摄取车牌号等。例如:

     (1)环境电磁干扰;

    (2)视频压缩算法、传输带宽导致的模糊。

    (3)运动目标高速运动导致的运动模糊等;

     第二章 模糊图像常用的处理方法

      对于模糊图像处理技术,国内大学和科研机构在多年以前就在研究这些理论和应用,相关文献也发布了不少,已经取得了一些很好的应用。美国Cognitech软件是相当成熟的一套模糊图像恢复应用软件,在美国FBI及其他执法机构中已有多年实际应用,其恢复出的图像可以直接当作法庭证据使用,可见模糊图像处理技术已经取得了相当的实际应用。

    模糊图像的去模糊处理

    前面提到,造成图像模糊的原因有很多,要取得比较好的处理效果,不同原因导致的模糊往往需要不同的处理方法。从技术方面来向,模糊图像处理方法主要分为三大类,分别是图像增强、图像复原和超分辨率重构。

    2.1图像增强

     增强图象中的有用信息,它可以是一个失真的过程,其目的是要改善图像的视觉效果,针对给定图像的应用场合,有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果,满足某些特殊分析的需要。

      图像增强可分成两大类:频率域法和空间域法。前者把图像看成一种二维信号,对其进行基于二维傅里叶变换的信号增强。采用低通滤波(即只让低频信号通过)法,可去掉图中的噪声;采用高通滤波法,则可增强边缘等高频信号,使模糊的图片变得清晰。具有代表性的空间域算法有局部求平均值法和中值滤波(取局部邻域中的中间像素值)法等,它们可用于去除或减弱噪声。

      图像增强的方法是通过一定手段对原图像附加一些信息或变换数据,有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征,使图像与视觉响应特性相匹配。在图像增强过程中,不分析图像降质的原因,处理后的图像不一定逼近原始图像。图像增强技术根据增强处理过程所在的空间不同,可分为基于空域的算法和基于频域的算法两大类。基于空域的算法处理时直接对图像灰度级做运算基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正,是一种间接增强的算法。

      基于空域的算法分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换和直方图修正等,目的或使图像成像均匀,或扩大图像动态范围,扩展对比度。邻域增强算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声,但是也容易引起边缘的模糊。常用算法有均值滤波、中值滤波。锐化的目的在于突出物体的边缘轮廓,便于目标识别。常用算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。

    2.1.1图像增强的几个方面及方法

      1.对比度变换:线性变换、非线性变换

      2.空间滤波:图像卷积运算、平滑、锐化

      3.彩色变换:单波段彩色变换、多波段彩色运算、HIS

      4.多光谱变换:K-L变换、K-T变换

      5.图像运算:插值运算、比值运算

    2.1.2图像增强的应用概况

      数字图像处理在40多年的时间里,迅速发展成一门独立的有强大生命力的学科,图像增强技术已逐步涉及人类生活和社会生产的各个方面,下面我们仅就几个方面的应用举些例子。

    (1)航空航天领域的应用

      早在60年代初期,第3代计算机的研制成功和快速傅里叶变换的提出,使图像增强技术可以在计算机上实现。1964美国喷气推进实验室(JPL)的科研人员使用IBM7094计算机以及其它设备,采用集合校正、灰度变换、去噪声、傅里叶变换以及二维线性滤波等方法对航天探测器“徘徊者7号”发回的几千张月球照片成功的进行了处理。随后他们又对“徘徊者8号”和“水手号”发回地球的几万张照片进行了较为复杂地数字图像处理,使图像质量得到进一步的提高,从此图像增强技术进入了航空航天邻域的研究与应用。同时图像增强技术的发展也推动了硬件设备的提高,比如1983年LANDSAT-4的分辨率为30m,而如今发射的卫星分辨率可达到3-5m的范围内。图像采集设备性能的提高,使采集图像的质量和数据的准确性和清晰度得到了极大地提高。

    (2)生物医学领域的应用

      图像增强技术在生物医学方面的应用有两类,其中一类是对生物医学的显微光学图像进行处理和分析,比如对红细胞、白细胞、细菌、虫卵的分类计数以及染色体的分析;另一类应用是对X射线图像的处理,其中最为成功的是计算机断层成像。1973年英国的EMI公司在制造出第一台X射线断层成像装置。由于人体的某些组织,比如心脏、乳腺等软组织对X射线的衰减变化不大,导致图像灵敏度不强。由此图像增强技术在生物医学图像中得到广泛的应用。

    (3)工业生产领域的应用

      图像增强在工业生产的自动化设计和产品质量检验中得到广泛应用,比如机械零部件的检查和识别、印刷电路板的检查、食品包装出厂前的质量检查、工件尺寸测量、集成芯片内部电路的检测等等。此外计算机视觉也可以应用到工业生产中,将摄像机拍摄图片经过增强处理、数据编码、压缩送入机器人中,通过一系列的控制和转换可以确定目标的位置、方向、属性以及其它状态等,最终实现机器人按照人的意志完成特殊的任务。

    (4)公共安全领域的应用

    在社会安全管理方面,图像增强技术的应用也十分广泛,如无损安全检查、指纹、虹膜、掌纹、人脸等生物特征的增强处理等等。图像增强处理也应用到交通监控中,通过电视跟踪技术锁定目标位置,比如对有雾图像、夜视红外图像、交通事故的分析等等。

    2.1.3图像增强的研究目的和意义

      人类传递信息的主要媒介是语言和图像。据统计在人类接受的各种信息中视觉信息占80%,所以图像信息是十分重要的信息传递媒体和方式。图像传递系统包括图像采集、图像压缩、图像编码、图像存储、图像通信、图像显示这六个部分。在实际应用中每个部分都有可能导致图像品质变差,使图像传递的信息无法被正常读取和识别。例如,在采集图像过程中由于光照环境或物体表面反光等原因造成图像整体光照不均,或是图像采集系统在采集过程中由于机械设备的缘故无法避免的加入采集噪声,或是图像显示设备的局限性造成图像显示层次感降低或颜色减少等等。因此研究快速且有效地图像增强算法成为推动图像分析和图像理解领域发展的关键内容之一。

      图像增强处理是数字图像处理的一个重要分支。很多由于场景条件的影响图像拍摄的视觉效果不佳,这就需要图像增强技术来改善人的视觉效果,比如突出图像中目标物体的某些特点、从数字图像中提取目标物的特征参数等等,这些都有利于对图像中目标的识别、跟踪和理解。图像增强处理主要内容是突出图像中感兴趣的部分,减弱或去除不需要的信息。这样使有用信息得到加强,从而得到一种更加实用的图像或者转换成一种更适合人或机器进行分析处理的图像。图像增强的应用领域也十分广阔并涉及各种类型的图像。例如,在军事应用中,增强红外图像提取我方感兴趣的敌军目标;在医学应用中,增强X射线所拍摄的患者脑部、胸部图像确定病症的准确位置;在空间应用中,对用太空照相机传来的月球图片进行增强处理改善图像的质量;在农业应用中,增强遥感图像了解农作物的分布;在交通应用中,对大雾天气图像进行增强,加强车牌、路标等重要信息进行识别;在数码相机中,增强彩色图像可以减少光线不均、颜色失真等造成的图像退化现象。

      图像工程是一门综合学科,它的研究内容非常广泛,覆盖面也很大。从1996年起,《中国图像图形学报》上连续刊登了对图像工程文献统计分类的综述文章。根据各文献的主要内容将其分别归入图像处理、图像分析、图像理解、技术应用和综述5个大类,并在此基础上对国内15种有关图像工程的重要中文期刊进行了各期刊各类文献的统计和分析。选取的刊物名有:《CT理论与应用研究》、《测绘学报》、《电子测量与仪器学报》、《电子学报》、《电子与信息学报》、《计算机学报》、《模式识别与人工智能》、《数据采集与处理》、《通信学报》、《信号处理》、《遥感学报》、《中国生物医学工程学报》、《中国体视学与图像分析》、《中国图象图形学报》、《自动化学报》。

      从中我们挑选了最近5年的统计数据:在2005年的112期上发表的2 734篇学术研究和技术应用文献中,属于图像工程领域的文献有656篇。在2006年的112期上发表的3013篇学术研究和技术应用文献中,属于图像工程领域的文献有711篇。在2007年的118期上发表的3312篇学术强究和技术应用文献中,属于图像工程领域的文献有895篇。在2008年的120期上发表的3359篇学术研究和技术应用文献中,属于图像工程领域的文献有915篇,2009年的134期上发表的3604篇学术研究和技术应用文献中,有1008篇属于图像工程领域的文献。这些统计数据显示,无论是论文总数还是选取总数都是逐年增长的。论文总数的增长表明刊物的不断发展,选取总数的增加表明图像工程的研究和应用的不断壮大。据统计从1995年至2009年,发表图像处理的文章总计2720篇,占图像工程总体的33.1%;发表图像分析的文章总计2434篇,占图像工程总体的29.6%;发表图像理解的文章总计1192篇,占图像工程总体的14.5%;发表技术应用文章1797篇,占图像工程总体的21.9%;发表综述评论文章74篇,占图像工程总体的0.9%,其中关于图像增强技术方面的文章增长率尤其较高。因此图像增强技术在今后一段时间内仍将是一个热点。

      影响图像质量清晰程度有很多因素,室外光照度不均匀会造成图像灰度过于集中;摄像头获得的图像经过数/模转换,线路传输时都会产生噪声污染,图像质量不可避免降低,轻者变现为图像伴有噪点,难于看清图像细节;重者图像模糊不清,连大概物体面貌轮廓都难以看清。因此,对图像进行分析处理之前,必须对图像进行改善,即增强图像。图像增强并不考虑图像质量下降的原因,只是将图像中感兴趣的重要特征有选择性的突出出来,同时衰减不需要的特征,目的就是提高图像的可懂度。

      图像增强的方法分为空域法和频域法两种,空域法是对图像中的像素点进行操作,用公式描述如下:

      g(x,y)=f(x,y)*h(x,y)

      其中是f(x,y)原图像;h(x,y)为空间转换函数;g(x,y)表示进行处理后的图像。

      频域法是间接的处理方法,是先在图像的频域中对图像的变换值进行操作,然后变回空域。例如,先对图像进行傅里叶变化到频域,再对图像的频谱进行某种滤波修正,最后将修正后的图像进行傅里叶反变化到空域,以此增强图像。可用图1来描述该过程。

    2.1.4图像增强技术国外发展状况

      20世纪20年代图片第一次通过海底电缆从伦敦传往纽约。当时人们通过字符模拟得到中间色调的方法来还原图像。早期的图像增强技术往往涉及硬件参数的设置,如打印过程的选择和亮度等级的分布等问题。在1921年年底提出了一种基于光学还原的新技术。在这一时期由于引入了一种用编码图像纸带去调制光束达到调节底片感光程度的方法,使灰度等级从5个灰度级增加到15个灰度等级,这种方法明显改善了图像复原的效果。到20世纪60年代早期第一台可以执行数字图像处理任务的大型计算机制造出来了,这标志着利用计算机技术处理数字图像时代的到来。1964年,研究人员在美国喷气推进实验室(JPL)里使用计算机以及其它硬件设备,采用几何校正、灰度变换、去噪声、傅里叶变换以及二维线性滤波等增强方法对航天探测器“徘徊者7号”发回的几千张月球照片进行处理,同时他们也考虑太阳位置和月球环境的影响,最终成功地绘制出了月球表面地图。随后他们又对1965年“徘徊者8号”发回地球的几万张照片进行了较为复杂的数字图像处理,使图像质量进一步提高。这些成绩不仅引起世界许多有关方面的注意而且JPL本身也更加重视对数字图像处理地研究和设备的改进,并专门成立了图像处理实验室IPL。在IPL里成功的对后来探测飞船发回的几十万张照片进行了更为复杂的图像处理,最终获得了月球的地形图、彩色图以及全景镶嵌图。从此数字图像增强技术走进了航空航天领域。

      20世纪60年代末和20世纪70年代初有学者开始将图像增强技术用于医学图像、地球遥感监测和天文学等领域。X射线是最早用于成像的电磁辐射源之一,在1895年X射线由伦琴发现。20世纪70年代Godfrey N. Hounsfield先生和Allan M. Cormack教授共同发明计算机轴向断层技术:一个检测器围绕病人,并用X射线源绕着物体旋转。X射线穿过身体并由位于对面环中的相应检测器收集起来。其原理是用感知的数据去重建切片图像。当物体沿垂直于检测器的方向运动时就产生一系列的切片,这些切片组成了物体内部的再现图像。到了20世纪80年代以后,各种硬件的发展使得人们不仅能够处理二维图像,而且开始处理三维图像。许多能获得三维图像的设备和分析处理三维图像的系统已经研制成功了,图像处理技术得到了广泛的应用。进入20世纪90年代,图像增强技术已经逐步涉及人类生活和社会发展的各个方面。计算机程序用于增强对比度或将亮度编码为彩色,以便解释X射线和用于工业、医学及生物科学等领域的其他图像。地理学用相同或相似的技术从航空和卫星图像中研究污染模式。在考古学领域中使用图像处理方法已成功地复原模糊图片。在物理学和相关领域中计算机技术能增强高能等离子和电子显微镜等领域的实验图片。直方图均衡处理是图像增强技术常用的方法之一。1997年Kim 提出如果要将图像增强技术运用到数码相机等电子产品中,那么算法一定要保持图像的亮度特性。在文章中Kim提出了保持亮度特性的直方图均衡算法(BBHE)。Kim的改进算法提出后,引起了许多学者的关注。在1999年Wan等人提出二维子图直方图均衡算法(DSIHE)。接着Chen和Ramli提出最小均方误差双直方图均衡算法(MMBEBHE)。为了保持图像亮度特性,许多学者转而研究局部增强处理技术,提出了许多新的算法:递归均值分层均衡处理(RMSHE)、递归子图均衡算法(RSIHE)、动态直方图均衡算法(DHE)、保持亮度特性动态直方图均衡算法(BPDHE)、多层直方图均衡算法(MHE)、亮度保持簇直方图均衡处理(BPWCHE)等等。

    2.1.5图像增强技术国内发展状况

      在借鉴国外相对成熟理论体系和技术应用体系的条件下,国内的增强技术和应用也有了很大的发展。总体来说,图像增强技术的发展大致经历了初创期、发展期、普及期和应用期4个阶段。初创期开始于20世纪60年代,当时的图像采用像素型光栅进行扫描显示,大多采用中、大型机对其进行处理。在这一时期由于图像存储成本高,处理设备造价高,因而其应用面很窄。20世纪70年代进入了发展期,开始大量采用中、大型机进行处理,图像处理也逐渐改用光栅扫描显示方式,特别是出现了CT和卫星遥感图像,对图像增强处理提出了一个更高的要求。到了20世纪80年代,图像增强技术进入普及期,此时的计算机已经能够承担起图形图像处理的任务。20世纪90年代进入了应用期,人们运用数字图像增强技术处理和分析遥感图像,以有效地进行资源和矿藏的勘探、调查、农业和城市的土地规划、作物估产、气象预报、灾害及军事目标的监视等。在生物医学工程方面,运用图像增强技术对X射线图像、超声图像和生物切片显微图像等进行处理,提高图像的清晰度和分辨率。在工业和工程方面,主要应用于无损探伤、质量检测和过程自动控制等方面。在公共安全方面,人像、指纹及其他痕迹的处理和识别,以及交通监控、事故分析等都在不同程度上使用了图像增强技术。图像增强是图像处理的重要组成部分,传统的图像增强方法对于改善图像质量发挥了极其重要的作用。随着对图像技术研究的不断深入和发展,新的图像增强方法不断出现。例如一些学者将模糊映射理论引入到图像增强算法中,提出了包括模糊松弛、模糊熵、模糊类等增强算法来解决增强算法中映射函数选择问题,并且随着交互式图像增强技术的应用,可以主观控制图像增强效果。同时利用直方图均衡技术的图像增强也有许多新的进展:例如提出了多层直方图结合亮度保持的均衡算法、动态分层直方图均衡算法。这些算法通过分割图像,然后在子层图像内做均衡处理,较好地解决了直方图均衡过程中的对比度过拉伸问题,并且可以控制子层灰度映射范围,增强效果较好。

     

      很多传统图像算法都可以减轻图像的模糊程度,比如图像滤波、几何变换、对比度拉伸、直方图均衡、空间域锐化、亮度均匀化、形态学、颜色处理等。单个来讲,这些算法比较成熟,相对简单。但是对于一个具体的模糊图像,往往需要上面的一种或者多种算法组合,配合不同的参数才能达到理想的效果。这些算法和参数的组合进一步发展为具体的增强算法,比如“图像去雾”算法、“图像去噪”算法、“图像锐化”算法、“图像暗细节增强”算法等。

     

     

        2.2图像复原

     

    2.2.1图像复原概述

    在图像的获取、传输以及保存过程中,由于各种因素,如大气的湍流效应、摄像设备中光学系统的衍射、传感器特性的非线性、光学系统的像差、成像设备与物体之间的相对运动、感光胶卷的非线性及胶片颗粒噪声以及电视摄像扫描的非线性等所引起的几何失真,都难免会造成图像的畸变和失真。通常,称由于这些因素引起的质量下降为图像退化。

    图像退化的典型表现是图像出现模糊、失真,出现附加噪声等。由于图像的退化,在图像接受端显示的图像已不再是传输的原始图像,图像效果明显变差。为此,必须对退化的图像进行处理,才能恢复出真实的原始图像,这一过程就称为图像复原[1]

    图像复原技术是图像处理领域中一类非常重要的处理技术,与图像增强等其他基本图像处理技术类似,也是以获取视觉质量某种程度的改善为目的,所不同的是图像复原过程实际上是一个估计过程,需要根据某些特定的图像退化模型,对退化图像进行复原。简言之,图像复原的处理过程就是对退化图像品质的提升,并通过图像品质的提升来达到图像在视觉上的改善。

    由于引起图像退化的因素众多,且性质各不相同,目前没有统一的复原方法,众多研究人员根据不同的应用物理环境,采用了不同的退化模型、处理技巧和估计准则,从而得到了不同的复原方法。

    图像复原算法是整个技术的核心部分。目前,国内在这方面的研究才刚刚起步,而国外却已经取得了较好的成果。早期的图像复原是利用光学的方法对失真的观测图像进行校正,而数字图像复原技术最早则是从对天文观测图像的后期处理中逐步发展起来的。其中一个成功例子是NASA的喷气推进实验室在1964年用计算机处理有关月球的照片。照片是在空间飞行器上用电视摄像机拍摄的,图像的复原包括消除干扰和噪声,校正几何失真和对比度损失以及反卷积。另一个典型的例子是对肯尼迪遇刺事件现场照片的处理。由于事发突然,照片是在相机移动过程中拍摄的,图像复原的主要目的就是消除移动造成的失真[2]

    早期的复原方法有:非邻域滤波法,最近邻域滤波法以及效果较好的维纳滤波和最小二乘滤波等。随着数字信号处理和图像处理的发展,新的复原算法不断出现,在应用中可以根据具体情况加以选择。

    目前国内外图像复原技术的研究和应用主要集中于诸如空间探索、天文观测、物质研究、遥感遥测、军事科学、生物科学、医学影象、交通监控、刑事侦察等领域。如生物方面,主要是用于生物活体细胞内部组织的三维再现和重构,通过复原荧光显微镜所采集的细胞内部逐层切片图,来重现细胞内部构成;医学方面,如对肿瘤周围组织进行显微观察,以获取肿瘤安全切缘与癌肿原发部位之间关系的定量数据;天文方面,如采用迭代盲反卷积进行气动光学效应图像复原研究等。

     

    2.2.2图像退化模型

    图像复原问题的有效性关键之一取决于描述图像退化过程模型的精确性。要建立图像的退化模型,则首先必须了解、分析图像退化的机理并用数学模型表现出来。在实际的图像处理过程中,图像均需以数字离散函数表示,所以必须将退化模型离散化[3]

    对于退化图像:       

                   

      如果上式中,,,按相同间隔采样,产生相应的阵列、、、,然后将这些阵列补零增广得到大小为的周期延拓阵列,为了避免重叠误差,这里,。由此,当k=0,1,L,M-1;l=0,1,L,N-1时,即可得到二维离散退化模型形式:

                                  

    如果用矩阵表示上式,则可写为:

                                    

    其中,,,为一个行堆叠形成的列向量,H为阶的块循环矩阵。

     

    2.2.3几种较经典的复原方法介绍

    图像复原算法有线性和非线性两类。线性算法通过对图像进行逆滤波来实现反卷积,这类方法方便快捷,无需循环或迭代,直接可以得到反卷积结果,然而,它有一些局限性,比如无法保证图像的非负性。而非线性方法通过连续的迭代过程不断提高复原质量,直到满足预先设定的终止条件,结果往往令人满意。但是迭代程序导致计算量很大,图像复原时耗较长,有时甚至需要几个小时。所以实际应用中还需要对两种处理方法综合考虑,进行选择[4]

    (1)   维纳滤波法

    维纳滤波法是由Wiener首先提出的,应用于一维信号处理,取得了很好的效果。之后,维纳滤波法被用于二维信号处理,也取得了不错的效果,尤其在图像复原领域,由于维纳滤波计算量小,复原效果好,从而得到了广泛的应用和发展。

    维纳滤波器寻找一个使统计误差函数

                                                       

    最小的估计。E是期望值操作符,是未退化的图像。该表达式在频域可表示为

                     

    其中,

         表示退化函数

        

    表示的复共轭

    表示噪声的功率谱

    表示未退化图像的功率谱

    比率称为信噪功率比。在IPT中维纳滤波使用函数deconvwnr来实现的。

    (2)   正则滤波法

    另一个容易实现线性复原的方法称为约束的最小二乘方滤波,在IPT中称为正则滤波,并且通过函数deconvreg来实现。

    在最小二乘复原处理中,常常需要附加某种约束条件。例如令Q为f的线性算子,那么最小二乘方复原的问题可以看成使形式为的函数,服从约束条件的最小化问题,这种有附加条件的极值问题可以用拉格朗日乘数法来处理。

    寻找一个,使下述准则函数为最小:

                               

    式中叫拉格朗日系数。通过指定不同的Q,可以得到不同的复原目标。

    (3)Lucy-Richardson算法

    L-R算法是一种迭代非线性复原算法,它是从最大似然公式印出来的,图像用泊松分布加以模型化的。当下面这个迭代收敛时模型的最大似然函数就可以得到一个令人满意的方程:

                      

    *代表卷积,代表未退化图像的估计,g和h和以前定义一样。

    在IPT中,L-R算法由名为deconvlucy的函数完成的。

    (4)盲去卷积

    在图像复原过程中,最困难的问题之一是,如何获得PSF的恰当估计。那些不以PSF为基础的图像复原方法统称为盲区卷积。

    它以MLE为基础的,即一种用被随机噪声所干扰的量进行估计的最优化策略。工具箱通过函数deconvblind来执行盲区卷积。

     

    图像复原与图像增强技术一样,也是一种改善图像质量的技术。图像复原是根据图像退化的先验知识建立一个退化模型,以此模型为基础,采用各种逆退化处理方法进行恢复,改善图像质量。

     

      图像复原和图像增强是有区别的,二者的目的都是为了改善图像的质量。但图像增强不考虑图像是如何退化的,只有通过试探各种技术来增强图像的视觉效果,而图像复原就完全不同,需知道图像退化过程的先验知识,据此找出一种相应的逆过程方法,从而得到复原的图像。图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度。

      对由于离焦、运动、大气湍流等原因引起的图像模糊,图像复原的方法效果较好,常用的算法包括维纳滤波算法、小波算法、基于训练的方法等。

     

      在知道退化模型的情况下,相对图像增强来说,图像复原可以取得更好的效果。

      2.3图像超分辨率重构

      现有的监控系统主要目标为宏观场景的监视,一个摄像机,覆盖很大的一个范围,导致画面中目标太小,人眼很难直接辨认。这类由于欠采样导致的模糊占很大比例,对于由欠采样导致的模糊需要使用超分辨率重构的方法。

      超分辨率复原是通过信号处理的方法,在提高图像的分辨率的同时改善采集图像质量。其核心思想是通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率。超分辨率复原技术最初只对单幅图像进行处理,这种方法由于可利用的信息只有单幅图像,图像复原效果有着固有的局限。序列图像的超分辨率复原技术旨在采用信号处理方法通过对序列低分辨率退化图像的处理来获得一幅或者多幅高分辨率复原图像。由于序列图像复原可利用帧间的额外信息,比单幅复原效果更好,是当前的研究热点。

      序列图像的超分辨率复原主要分为频域法和空域法两大类,频域方法的优点是:理论简单,运算复杂度低,缺点是:只局限于全局平移运动和线性空间不变降质模型,包含空域先验知识的能理有限。空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等,而且具有很强的包含空域先验约束的能力。常用的空域法有非均匀插值法、迭代反投影方法(IBP)、凸集投影法(POCS)、最大后验估计法(MAP)、最大似然估计法(ML)、滤波器法等,其中,MAP和POCS法研究较多,发展空间很大。

     

    模糊图像处理的关键和不足

      虽然很多模糊图像的处理方法在实际应用中取得了很好的效果,但是当前仍然有一些因素制约着模糊图像处理的进一步发展,主要如下:

      1、 算法的高度针对性;

      绝大部分的模糊图像处理算法只适用于特定图像,而算法本身无法智能决定某个算法模块的开启还是关闭。举例来说,对于有雾的图像,“去雾算法”可以取得很好的处理效果,但是作用于正常图像,反而导致图像效果下降,“去雾算法”模块的打开或者关闭需要人工介入。

      2、 算法参数复杂性;

      模糊图像处理里面所有的算法都会包含大量的参数,这些参数的选择需要和实际的图像表现相结合,直接决定最终的处理效果。目前算法还没有办法智能选择这些最优参数。

      3、 算法流程的经验性;

      由于实际图像很复杂,需要处理多种情况,这就需要一个算法处理流程,对于一个具体的模糊视频,采用什么样的处理流程很难做到自动选择,需要人工选择一个合适的方法,只能靠人的经验。

      实践和总结

      由于环境、线路、镜头、摄像机等影响,监控系统建成运营一段时间后,都会出现一部分的视频模糊不清的问题。

      前面提到了针对模糊图像的各种处理算法,虽然这些算法都取得了一些较好的处理效果,但是再好的算法都是一种后期的补救措施。如果能及时发现监控系统中图像的各种问题,并及时维修,必然会起到事半功倍的效果。为此,东方网力股份科技有限公司利用先进的视频诊断技术,开发出适用于各种需求场景的视频质量诊断系统。它能够对视频图像出现的模糊、噪声、亮度异常和视频丢失等低质视频以及常见摄像机故障问题进行诊断,有效预防因硬件问题导致的图像质量低下所带来的损失。从几路视频到几百上千、上万路视频,均可高效的进行检测,自动生成检测报告,提供及时且精准的维护信息,第一时间从根源上解决图像模糊的问题。

      对于低光照、雨雾、运动和欠采样等客观原因造成的图像模糊,只能依靠图像处理算法。为此,东方网力推出了专门的“视频增强服务器”产品,包括了各种常用的视频增强、图像复原和超分辨率重构算法。对于算法高度针对性的问题,可以灵活动态控制各个算法模块的开启或者关闭;对于参数复杂性的问题,算法给出不同参数下处理结果的列表,然后通过人工方式选定最优参数,降低使用门槛;对于算法流程,对于常见的各种图像缺陷,给出推荐的处理流程,方便使用。

      总体来说,虽然模糊图像处理算法已经取得了非常广泛的应用,但是图像算法毕竟有自己的局限性,我们不能将所有问题都寄希望于图像算法,对于不同种类的模糊问题,要区别对待。对于由镜头离焦、灰尘遮挡、线路老化、摄像机故障等造成的模糊或者图像质量下降,在视频诊断系统的帮助下,一定要及时维修,从源头上解决问题。对于低光照等优先选择日夜两用型高感光度摄像机,对于雨雾、运动和前采样等造成的图像质量下降,可以借助于“视频增强服务器”包含的各种模糊图像处理算法,提升图像质量。

     

    展开全文
  • 数字图像处理数字图像处理 一学习内容总结 第一章 绪论 1 什么是数字图像处理 2 使用数字图像处理领域的实例 3 数字图像处理的基本步骤 4 图像处理系统的组成 第二章 数字图像处理基础 1 视觉感知要素 2 光和电磁...

    数字图像处理


    一、学习内容总结

    1. 第一章 绪论

    本章主要有几个目的:

    1. 定义我们称之为数字图像处理领域的范围;
    2. 通过考察几个领域,给出图像处理技术状况的概念;
    3. 讨论图像处理用到的几种方法;
    4. 概述通用目的的典型图像处理系统的组成。

    1.1 什么是数字图像处理

    我们给出一些定义:

    • 强度灰度:一幅图像可以被定义为一个二维函数 f(x,y),其中 x,y 是空间(平面)坐标,而在任何一处的幅值 f 被称为在该点的灰度或强度。
    • 数字图像:当 x,y 或灰度值 f有限的离散数值时,称该图像为数字图像。也就是说数字图像是由有限数量的元素组成,每个元素都有特定的位置和幅值。这些元素被称为图画元素图像元素像素
    • 数字图像处理 : 指用特定的计算机来处理数字图像。

    本书中将数字图像处理界定为其输入和输出都是图像的处理。

    1.2 使用数字图像处理领域的实例

    • 伽马射线成像:医学和天文。
    • X射线成像:最早用于成像的电磁辐射源之一,医学诊断。
    • 紫外波段成像 :荧光显微镜。
    • 可见光及红外线成像 :可见显微镜技术,遥感,天气预测和预报,红外卫星图像,自动视觉检测,检测丢失的部件,指纹图像。
    • 微波波段成像 :雷达。
    • 无线电波段成像 :天文学和医学(核磁共振)。
    • 其他方式 :声波成像,电子显微镜方法,(由计算机产生的)合成图像。

    1.3 数字图像处理的基本步骤

    这里写图片描述

    1.4 图像处理系统的组成

    这里写图片描述

    2. 第二章 数字图像处理基础

    本章主要介绍数字图像处理一些基本概念

    2.1 视觉感知要素

    • 人眼的结构

      重点介绍视网膜里的两类光感受器

      • 锥状体 :对颜色高度敏感,这种视觉称为白昼视觉或者亮视觉。高照明水平下执行。
      • 杆状体 :没有彩色感觉,对低照明度敏感,称为暗视觉或微光视觉。低照明水平下执行。
    • 亮度适应与辨别

      • 亮度适应现象 :视觉系统不能同时在一个范围内工作,它是通过改变其整个灵敏度来完成这一较大变动的。
      • 韦伯比 :较大:亮度辨别能力较差;反之,较好。
    • 感知亮度 不是简单的强度的函数

      • 视觉系统往往会在不同强度区域的边界处出现“下冲”或“上冲”现象。
      • 同时对比、错觉

    2.2 光和电磁波谱

    • 电磁波是能量的一种,任何有能量的物体都会释放电磁波谱。它可以用 波长 (λ)、频率(v)或能量(E) 来描述,其中

    λ=c/v

    E=hv

    • 光是一种特殊的电磁辐射,可以被人眼感知。
      • 单色光 是没有颜色的光,也成为无色光。唯一属性就是它的强度或者大小,用 灰度级 来表示。单色图像常被称为 灰度图像
      • 彩色光源 的质量可以用发光强度、光通量和亮度 来表示。

    2.3 图像感知和获取

    • 图像获取方式

      • 使用单个传感器来获取图像
      • 使用条带传感器获取图像
      • 使用传感器阵列获取图像
    • 简单的图像形成模型

      用形如 f(x,y) 的二维函数来表示图像,那么:

      0<f(x,y)<

      f(x,y) 可以用两个分量来表征:

      • 入射分量 入射到被观察场景的光源照射总量,用i(x,y) 表示;
      • 反射分量 场景中物体所反射的光照总量,用r(x,y) 表示。

      所以有:

      f(x,y)=i(x,y)r(x,y),0<i(x,y)<,0<r(x,y)<1

    2.4 图像取样和量化

    • 取样和量化的基本概念

      • 取样 :对坐标值进行数字化
      • 量化 : 对幅值数字化

      数字图像的质量在很大程度上取决于取样和量化中所用的样本数灰度级

    • 数字图像表示

      用数列矩阵来表示一幅数字图像。在实数矩阵中,每个元素称为图像单元、图像元素或像素。

      对比度 一幅图像最高和最低灰度级间的灰度差为对比度。

      存储数字图像所用的比特数为:

      b=M×N×k,M=Nb=N2k

      灰度级数L=2k

    • 空间和灰度分辨率

      • 空间分辨率 :图像中可辨别的最小细节的度量。在数量上,表示每单位距离线对数和每单位距离点数是最通用的度量(必须针对空间单位来规定才有意义)。
      • 灰度分辨率 :指在灰度级中可分辨的最小变化。
    • 图像内插

      用已知数据来估计未知位置的数据处理。是基本的图像重取样方法。可以处理图像的放大和缩小。

    2.5 像素间的基本关系

    • 相邻像素

      位于坐标 (x,y) 处的像素 p 有4个水平和垂直上的相邻像素,用 N4(p) 表示;有四个对角相邻像素,用 ND(p) 表示。如果 p 位于图像边界,则某些邻点可能 落在图像外边。

    • 邻接性、连通性、区域和边界

      • 4邻接、8邻接、混合邻接
    • 距离度量

      • 欧氏距离(圆)
      • D4 城市街区距离(菱形)
      • 棋盘距离(正方形)

    2.6 常用数学工具介绍

    • 阵列和矩阵操作
    • 线性操作和非线性操作
    • 算术操作
    • 集合和逻辑操作
      • 基本集合操作
      • 逻辑操作
      • 模糊集合
    • 空间操作
      • 单像素操作
      • 邻域操作
      • 几何空间变换与图像配准
    • 向量和矩阵操作
    • 图像变换

    3.第三章

    3.1 背景知识

    • 空间域 就是简单的包含图像像素的平面。空间域处理可用以下方式表示:

    g(x,y)=T[f(x,y)],T(x,y)

    • 灰度变换函数
      s=T(r),r,s

    3.2 基本灰度变换函数

    • 图像反转

      得到灰度范围为 [0,L1] 的一幅图像的反转图像:(得到等效的照片底片)

      s=L1r

    • 对数变换

      对数变换的通用形式:

      s=clog(1+r)

      扩展图像中暗像素的值,同时压缩更高灰度级的值。反对数变换的作用与此相反。

    这里写图片描述

    • 幂律变换(伽马)变换

      基本形式:

      s=crγ

      γ<1 变亮,大于1变暗,c=γ=1 恒等变换。

    这里写图片描述
    * 分段线性变换函数
    * 对比度拉伸:扩展图像灰度级动态范围处理,因此它可以跨越记录介质和显示装置的全部灰度范围。

    根据$r,s$ 的取值,变换可以为线性函数和阈值处理函数。
    
    • 灰度级分层:突出特定图像灰度范围的亮度。有两种方法:

      • 突出范围 [A,B] 内的灰度,并将所有其他灰度降低到一个更低的级别;
      • 突出范围[A,N] 内的灰度,并保持所有其他灰度级不变。
    • 比特平面分层:突出特定比特为整个图像外观作贡献。

      • 4个高阶比特平面,特别是最后两个比特平面,包含了在视觉上很重要的大多数数据。
      • 低阶比特平面在图像中贡献更精细的灰度细节。

      得出结论:储存四个高阶比特平面将允许我们以可接受的细节来重建原图像。这样可减少50%的存储量。

    3.3 直方图的处理

    • 理论基础:若一幅图像的像素倾向于占据可能的灰度级并且分布均匀,则该图像会有高对比度的外观并展示灰色调的较大变化。

    • 直方图均衡:

      • 灰度范围为 [0,L1] 的数字图像的直方图是离散函数 h(rk)=nk,其中 rk 是第 k 级灰度值,nk 是图像中灰度为rk 的像素的个数。
      • 通过转换函数T(rk)变换,得到直方图均衡化。
      • 应用:自适应对比度增强。
    • 直方图匹配:用于处理后有特殊直方图的方法。

    • 局部直方图处理:以图像中每个像素邻域中的灰度分布为基础设计变换函数,来增强图像中小区域的细节。

    • 在图像增强中使用直方图统计:提供这样一种增强图像的方法:

      在仅处理均值和方差时,实际上直接从取样值来估计它们,不必计算直方图。这些估计被称为取样均值和取样方差。

    3.4 空间滤波基础

    • 空间滤波机理

      • 空间滤波器的组成:
      • 一个邻域
      • 对该邻域包围的图像像素执行的预定义操作

      滤波产生的是一个新像素,新像素的坐标等于邻域中心的坐标,像素的值是滤波操作的结果。

    • 空间相关与卷积

      • 相关:滤波器模板移过图像并计算每个位置乘积之和的处理。一个大小为m×n 的滤波器与一幅图像 f(x,y) 做相关操作,可表示为w(x,y)f(x,y)
      • 卷积:与相关机理相似,但滤波器首先要旋转180o 一个大小为m×n 的滤波器与一幅图像 f(x,y) 做j卷积操作,可表示为w(x,y)f(x,y)

    3.5 平滑空间滤波器

    用于模糊处理和降低噪声。

    • 平滑线性滤波器(均值滤波器)

      它使用滤波器确定的邻域内像素的平均灰度值代替图像中每个像素的值。应用:

      • 降低噪声
      • 灰度级数量不足而引起的伪轮廓效应的平滑处理
      • 去除图像的不相关细节
    • 统计排序(非线性)滤波器

      最有代表性的是中值滤波器 ,特点:

      • 将像素邻域内灰度的中值(在中值计算中,包括原像素值)代替该像素的值;
      • 对处理脉冲噪声(椒盐噪声)非常有效。

    3.6 锐化空间滤波器

    • 拉普拉斯算子:最简单的各向同性微分算子,是一个线性算子。因其为微分算子,因此强调的是图像中灰度的 突变而不是灰度级缓慢变换的区域。

    • 非锐化隐蔽和高提升滤波:从原图像中减去一部分非锐化的版本。步骤:

      • 模糊原图像
      • 从原图像减去模糊图像
      • 将模板加到原图像上
    • 梯度:图像处理中的一阶微分用梯度实现。对于函数f(x) ,在坐标(x,y) 处的梯度定义为二维列向量。它指出在位置f(x,y)f的最大变化率方向。

      应用:边缘增强。

    4.第四章

    本章主要为傅里叶变换的原理打一个基础,并介绍在基本的图像滤波中如何使用傅里叶变换。

    4.1. 基本概念

    • 傅里叶概念:任何周期函数都可以表示为不同频率的正弦和或余弦和的形式,每个正弦项和或余弦项乘以不同的系数(傅里叶级数)。
    • 傅里叶变换:在非周期函数用正弦和或余弦和乘以加权函数的积分来表示的公式。
    • 介绍复数、傅里叶级数、冲击及其取样特征、连续函数的傅里叶变换以及之前提过的卷积。

    4.2. 取样与取样函数中的傅里叶变换

    • 取样

      在连续函数f(x,y) 中模拟取样的一种方法是:用一个ΔT 单位间隔的冲击串作为取样函数去乘以f(t) .

    • 取样函数的傅里叶变换

      空间域来两个函数乘积的傅里叶变换是两个函数在频率域的卷积。

    • 取样定理

      如果以超过函数最高频率的两倍的取样来获取样本,连续的带限函数可以完全从它的样本集来恢复。

    4.3. DFT小结

    在课本上,作者给了我们详细的总结:

    这里写图片描述
    这里写图片描述
    这里写图片描述

    4.4. 频率域滤波

    • 步骤
      • 等到填充参数PQ
      • 形成大小为P×Q 的填充后的图像fp(x,y)
      • (1)x+y 乘以fp(x,y)移到其变换中心
      • 计算上一步骤的DTF,得到F(u,v)
      • 生成实的、对称的滤波函数H(u,v)
      • 得到处理后的图像gp(x,y)
      • gp(x,y) 的做上限提取M×N区域 ,得到最终的处理结果g(x,y)
    • 空间域与频率域间的纽带是卷积定理。

    4.5. 使用频率域滤波器平滑图像

    三种低通滤波器来平滑图像

    • 定义总结

    这里写图片描述

    • 特性
      • 理想低通滤波器(ILFP)
      • 特性:模糊和振铃。
      • 布特沃斯低通滤波器(BLPF)
      • 特性:随着阶数增高,其振铃和负值变明显。(一阶时无)
      • 高斯低通滤波器(GLPF)
      • 特性:无振铃

    4.6. 使用频率域滤波器锐化图像

    • 三种高通滤波器来锐化图像
      • 定义总结

    这里写图片描述
    * 特性

    * 理想高通滤波器(IHPF)
      * 有振铃
    * 布特沃斯高通滤波器(BHPF)
      * 比IHPF更平滑
    * 高斯低通滤波器(GHPF)
      * 比前两个更平滑,即使微小物体和细线条得到的结果也比较其清晰
    
    • 其他方式

      • 拉普拉斯算子
      • 钝化模板、高提升滤波和高频强调滤波
      • 同态滤波

    4.7.选择性滤波器

    处理指定频段或者频率域的小区域

    • 带阻滤波器和带通滤波器

      • 带阻滤波器
        这里写图片描述

      • 带通滤波器

      • 通过1减去带阻得到。

    • 陷波滤波器:拒绝事先定义的关于频率矩形中心的一个邻域的频率。

      • 陷波带阻滤波器

      用中心已被平移到陷波滤波中心的高通滤波器的乘积来构造。

      • 陷波带通滤波器

      通过1减去带阻得到。

    展开全文
  • 本文在撰写过程中参考了由何东健教授主编、西安电子科技大学出版社出版的《数字图像处理》(第三版),一切著作权归原书作者和出版社所有。特别感谢长安大学软件系老师的认真负责的教导。 第1章 概论 1.1 数字...

    本文在撰写过程中参考了由何东健教授主编、西安电子科技大学出版社出版的《数字图像处理》(第三版),一切著作权归原书作者和出版社所有。特别感谢长安大学软件系老师的认真负责的教导。

    第1章 概论

    1.1 数字图像处理及其特点

    1、数字图像与图像处理
    区分模拟图像与数字图像。
    数字图像处理:利用计算机对图像进行去噪、增强、复原、分割、特征提取、识别等的理论、方法和技术。
    2、数字图像处理的特点:
    处理精度高、易于控制处理效果、处理的多样性、图像数据量大、处理费时、综合性强

    1.2 图像处理的目的及主要内容

    1、数字图像处理的目的
    提高图像的视感质量、特征信息的提取、图像数据变换、编码和压缩
    2、数字图像处理的主要内容
    图像获取、表示和表现,复原,增强,分割,分析,重建、压缩编码

    1.3 数字图像处理的应用(略)

    第2章 数字图像处理基础

    2.1 图像数字化技术

    数字图像处理的先决条件:连续图像离散化。
    图像的数字化包括采样和量化两个过程。
    连续图像数字化的结果是图像矩阵,每一个元素称为像素、像元或图像元素。
    采样方法:正方形采样、三角形采样、正六角形采样
    1、采样
    采样:图像在空间上的离散化,即用采样点的灰度值代替图像。
    采样方法:先垂直采样,在水平采样。对于视频,先对时间采样,再沿垂直方向采样,最后沿水平方向采样。
    一维采样定理:若一维信号的g(t)的最大频率为ω,则采样周期小于等于1/(2ω),则能够根据采样频结果完全恢复图像。
    2、量化
    量化:把采样得到的各像素点的灰度值从模拟量到离散量的转换称为图像灰度的量化,转换前的灰度值称为连续灰度值,转换后的灰度值称为量化灰度值,量化灰度值与连续灰度值的差的绝对值称为量化误差。
    量化方法:等间隔量化(均匀量化、线性量化)、非等间隔量化。
    非等间隔量化是根据图像灰度值分布的概率密度函数,按总量化误差最小的原则来进行量化的。具体做法是“高概率细分,低概率粗分”。
    3、采样与量化参数的选择
    图像存储大小=采样数×量化灰度值位数(bit)
    低采样数导致马赛克,低量化级数导致假轮廓。
    采样原则:
    缓变——细量化、粗采样
    细节丰富——粗量化、细采样
    4、图像数字化设备
    组成:采样孔、图像扫描机构、光传感器、量化器、输出储存装置
    性能指标:像素大小、量化位数(颜色元数)、图像尺寸、线性度、噪声

    2.2 色度学基础与颜色模型

    1、色度学基础
    视杆细胞辨亮度,视锥细胞辨颜色,RGB光的三原色
    颜色属性:色调、饱和度、亮度
    2、颜色模型
    计算颜色模型:RGB、CIE XYZ、Lab
    视觉颜色模型:HSI、HSV、HSL
    工业颜色模型:CMYK、YUV、YCbCr
    (1)RGB模型
    在这里插入图片描述
    (2)CIE XYZ模型
    F=x•X+y•Y+z•Z, x=X/(X+Y+Z), y=Y/(X+Y+Z), z=Z/(X+Y+Z)
    (3)Lab颜色模型
    具有设备无关性,L表示亮度分量,a、b为色度分量,其中a正向绝对值越大表示越红,负向绝对值越大表示越绿;b正向绝对值越大表示越黄,负向绝对值越大表示越蓝。
    (4)HSI颜色模型
    色调H:反应颜色的种类(波长)
    饱和度S:表示颜色的深浅
    强度I:亮度/灰度
    (5)CMY与CMYK颜色模型
    (C,M,Y)=(1,1,1)-(R,G,B)
    在这里插入图片描述
    (6)YUV电视信号彩色坐标系统
    Y表示亮度信号,U、V表示色差
    (7)YCbCr模型
    由亮度Y,色差Cb、Cr组成,但充分考虑RGB分量在视觉感受中的不同重要性。
    3、颜色变换
    颜色变换模型:g(x, y) = T[ f(x, y) ]
    颜色变换关系:si = Ti [r1, r2, r3, … ,rn], i = 1, 2, … , n
    彩色切片:识别目标颜色分离出来

    2.3 数字图像类型

    矢量图:数学公式描绘图像,存储量小,图像清晰度与分辨率无关,缺点是单调且不真实
    位图:像素点阵表示图像,每个像素点具有颜色和位置属性,分为线画稿、灰度图像、索引颜色图像、真彩色图像
    1、位图
    线画稿:二值图像
    灰度图像:介于黑色与白色之间的多级灰度
    索引颜色:选择一些颜色,然后编号,用编号作为颜色的索引
    真彩色图像:RGB颜色
    2、位图有关术语
    像素:显示器显示图像的基本单位
    样点:将原图像网格化,用样点代替网格中所有点
    分辨率:单位长度像素数,按照像素的来源分为图像分辨率屏幕分辨率、打印机分辨率、扫描仪分辨率

    2.4 图像文件格式

    BMP图像文件格式:
    (1)四部分组成:位图文件头、位图信息头、调色板、图像数据
    (2)字节对齐,4byte整数倍
    (3)上下倒置存放
    其他文件格式略

    2.5 OpenCV编程简介

    OpenCV = Open Source Computer Vision Library
    1、OpenCV简介 不考
    2、OpenCV的安装与配置 不考
    3、OpenCV的数据结构 不太可能考
    二维点、三维点、Size_、Rect_、RotatedRect、Matx、Vec、Scalar_、Range、Mat
    4、读入、显示和存储图像

    #include <iostream>
    #include <opencv2/core/core.hpp>
    #include <opencv2/highgui/highgui.hpp>
    using namespace std;
    using namespace cv;
    int main(){
    	Mat image, result;
    	cout << "size: " << image.size().height() << " , " << image.size().width << endl;
    	image = imread("tiger.jpg");
    	if(!image.data){
    		cout << "read image file failed!" << endl;
    	}
    	namedWindow("Original Image");
    	imshow("Original Image", image);
    	flip(image, result,1);
    	namedWindow("Output Image");
    	imshow("Output Image", result);
    	imwrite("output.bmp", result);
    	waitKey(0);
    	return 0
    }
    

    5、操作图像像素
    (1)at方法

    void colorReduce(Mat& inputImage, Mat& outputImage, int div){
    	outputImage = inputImage.clone();
    	int rows = outputImage.rows;
    	int cols = outputImage.cols;
    	for(int i=0;i<rows;i++){
    		for(int j=0;j<cols;j++){
    			outputImage.at<Vec3b>(i,j)[0] = outputImage.at<Vec3b>(i,j)[0]/div*div+div/2;
    			outputImage.at<Vec3b>(i,j)[1] = outputImage.at<Vec3b>(i,j)[1]/div*div+div/2;
    			outputImage.at<Vec3b>(i,j)[2] = outputImage.at<Vec3b>(i,j)[2]/div*div+div/2;
    		}
    	}
    }
    

    (2)使用迭代器

    void colorReduce(Mat& inputImage, Mat& outputImage, int div){
    	outputImage = inputImage.clone();
    	Mat_<Vec3b>::iterator it = inputImage.begin<Vec3b>();
    	Mat_<Vec3b>::iterator it = inputImage.end<Vec3b>();
    	Mat_<Vec3b> cimage = outputImage;
    	Mat_<Vec3b>::iterator itout = cimage.begin();
    	Mat_<Vec3b>::iterator itoutend = cimage.end();
    	for(; it != itend; it++,itout++){
    		(*itout)[0]=(*it)[0]/div*div+div/2;
    		(*itout)[1]=(*it)[1]/div*div+div/2;
    		(*itout)[2]=(*it)[2]/div*div+div/2;
    	}
    }
    

    (3)使用指针

    void colorReduce(Mat& inputImage, Mat& outputImage, int div){
    	outputImage = inputImage.clone();
    	int rows = outputImage.rows;
    	int cols = outputImage.cols;
    	if(outputImage.isContinuous()){
    		cols = cols * rows;
    		rows = 1;
    	}
    	for(int i=0;i<rows;i++){
    		uchar * dataout = outputImage.ptr<uchar>(i);
    		for(int j=0;j<cols;j++){
    			dataout[j] = dataout[j]/div*div+div/2;
    		}
    	}
    }
    

    注意:OpenCV中的彩色图像不是以RGB顺序存放的,而是以BGR顺序存放的。
    4、整行整列像素值的赋值

    img.row(i).setTo(Scalar(255));
    img.col(i).setTo(Scalar(255));
    

    6、图形交互和媒体接口HighGui 不太可能考

    第3章 图像增强

    图像增强的目的:改善图像的视觉效果,或使图像更适合于人或机器的分析处理。减少图像噪声,提高目标与背景的对比度,强调或抑制图像中的某些细节。
    图像增强的方法:空域法、频域法,空域法又可以分为点处理和区处理,频域增强可以分为低通滤波、高通滤波、带通滤波、带阻滤波和同态滤波。

    3.1 灰度变换

    灰度变化模型:g(x, y) = T[ f(x, y) ]
    区处理:灰度变换操作在像素的邻域内进行,区处理一般基于模板卷积实现,因此又称为模板操作或空域滤波。
    常见的灰度变换方法:直接灰度变换法、直方图修正法。直接灰度变换法包括线性、分段线性以及非线性变换;直方图修正法可以分为直方图均衡化和直方图规定化。
    1、灰度线性变换
    在这里插入图片描述
    2、分段线性变换
    在这里插入图片描述
    3、非线性变换
    在这里插入图片描述
    在这里插入图片描述

    3.2 直方图修正

    1、直方图的基本概念
    灰度直方图是图像量化灰度值的频数分布直方图或频率分布直方图。
    2、直方图的性质
    (1)丢失位置信息,保留统计信息
    (2)图像与灰度直方图是一对多的关系
    (3)灰度直方图具有可加性
    3、直方图的计算
    (1)初始化:数组零值初始化
    (2)统计:将量化灰度值映射为数组下标,遍历图像将对应数组元素的值++
    (3)归一化:数组所有元素除以像素总数
    也可以像素值沿水平轴划分为若干子区间称为箱格,从而简化计算。
    4、直方图均衡化
    (1)基本思想:把原始图像的直方图变换为均匀分布的形式,从而增加图像灰度的动态范围,以达到增强图像对比度的效果。经过均衡化处理的图像,其灰度级出现的概率相同,此时图像的熵最大,图像包含的信息量最大。
    (2)推导
    s=T(r)s=T(r)
    s和r分别为灰度变换前后的灰度级,T(r)T(r)单调递增且有界[0,1]
    η=T(ξ)η=T(ξ),则有
    Fη(s)=P(η&lt;s)=P(ξ&lt;r)=rPr(x)dxF_{η}(s) = P(η&lt;s) = P(ξ&lt;r) = \int_{-\infty}^{r}P_{r}(x)dx
    对两边同时求导得
    ps(s)=[pr(r)drds]r=T1(s)p_{s}(s)=[p_{r}(r)•\frac{\mathrm{d} r}{\mathrm{d} s}]_{r=T^{-1}(s)}
    若要使变换后的图像灰度s为均匀分布,即有
    ps(s)=1p_s(s)=1
    代入上式有
    ds=pr(r)dr\mathrm{d} s=p_r(r)\mathrm{d}r
    两边同时积分有
    T(r)=s=0rpr(ω)dωT(r)=s=\int_0^rp_r(ω)\mathrm{d}ω
    其中0rpr(ω)dω\int_0^rp_r(ω)\mathrm{d}ω是r的累计分布函数。
    容易证明,以CDF为灰度变换函数,可得到灰度分布均匀的图像。
    (3)数字图像的直方图均衡化

    k rk nk pr=T(rk) sk=int[(L-1)sk+0.5] s rk->sk ps(sk)
    0 0 790 0.19 0.19 0.19→1 0→1 -
    1 1 1023 0.25 0.44 0.144→3 1→3 0.19
    2 2 850 0.21 0.65 0.65→5 2→5 -
    3 3 656 0.16 0.81 0.81→6 3→6 0.25
    4 4 329 0.08 0.89 0.89→6 4→6 -
    5 5 245 0.06 0.95 0.95→7 5→7 0.21
    6 6 122 0.03 0.98 0.98→7 6→7 0.24
    7 7 81 0.02 1 1→7 7→7 0.11

    简并:频数较低的灰度级被归并为一个新的灰度级上,使得变换过后的灰度级的数量减少了,这种现象称为简并。简并现象增大了灰度级的间隔,增加了图像对比度,可以看清更多的细节。
    理论上,直方图均衡化的结果应该是平坦的,但由于不能将同一灰度级的像素映射到不同的灰度级,因而实际结果只是近似均衡。
    5、直方图规定化
    直方图规定化:实际应用中希望将直方图变换为某个特定的形状,从而有选择地增强某个灰度范围内的对比度,这种方法就称为直方图规定化。
    直方图规定化的步骤:
    第一步,对原始直方图进行均衡化,得到映射关系1;
    第二步,对规定直方图进行均衡化,得到映射关系2;
    第三步,按照单映射规则或组映射规则,根据映射关系1和映射关系2得到最终的映射关系。

    rk,zl pr(rk) pz(zl) sk=T(rk) vl=G(zl) 单映射rk→zl 单映射ps(sk) 组映射rk→zl 组映射ps(sk)
    0 0.19 - 0.19 - r0→r3 0 r0→r3 0
    1 0.25 - 0.44 - r1→r3 0 r1→r5 0
    2 0.21 - 0.65 - r2→r5 0 r2→r5 0
    3 0.16 0.2 0.81 0.2 r3→r5 0.44 r3→r7 0.19
    4 0.08 - 0.89 - r4→r7 0 r4→r7 0
    5 0.06 0.5 0.95 0.7 r5→r7 0.37 r5→r7 0.46
    6 0.03 - 0.98 - r6→r7 0 r6→r7 0
    7 0.02 0.3 1 1 r7→r7 0.19 r7→r7 0.35

    单映射:对于每一个sk找距离它最近的vl
    组映射:对于每一个vl找距离它最近的sk,作为分组依据(分界值归到左侧区间),再进行组映射。

    3.3 图像平滑

    目的:消噪或模糊图像,去除小的细节或弥合目标间的缝隙。
    低频代表信号缓慢变化的部分,高频代表迅速变化的部分;图像边缘、跳跃以及噪声等灰度变化剧烈的部分代表图像的高频分量,灰度变化缓慢的部分代表图像的低频分量。
    1、图像噪声
    (1)噪声分类
    外部噪声和内部噪声
    平稳噪声和非平稳噪声
    高斯噪声和椒盐噪声
    白噪声和粉红噪声(1/f噪声)
    加性噪声和乘性噪声
    (2)特点
    随机性、图像相关性、叠加性
    2、模板卷积
    模板操作的种类:卷积、相关
    功能:图像平滑、锐化、边缘检测
    线性滤波,其输出像素是输入邻域像素的加权核。
    卷积和相关运算的主要区别在于卷积运算需要将模板绕模板中心旋转180°,因其余运算过程一致而统称为模板卷积。模板卷积中的模板称为卷积核,其元素称为卷积系数、模板系数或加权系数,其大小和排列顺序决定了对图像邻域处理的类型。
    模板卷积的运算过程:移动模板、对应相乘再相加、赋值
    3、邻域平均
    Box模板:
    19[111111111] \frac{1}{9}\begin{bmatrix} 1 &amp; 1 &amp; 1 \\ 1 &amp; 1* &amp; 1 \\ 1 &amp; 1 &amp; 1 \end{bmatrix}
    高斯模板:
    116[121242121] \frac{1}{16}\begin{bmatrix} 1 &amp; 2 &amp; 1 \\ 2 &amp; 4* &amp; 2 \\ 1 &amp; 2 &amp; 1 \end{bmatrix}
    领域平均法的主要优点是算法简单,缺点是降噪时会模糊图像,尤其是在边缘和细节处,尺寸越大模糊程度越大。适合处理高斯噪声,不适合处理椒盐噪声。
    4、中值滤波
    非线性滤波,滤除噪声的同时很好地保持图像边缘。
    基本原理:窗口内元素灰度值求中位数并赋给中心元素
    统计排序滤波器:模板内元素排序,选取某个值作为中心元素的值。中值滤波是统计排序滤波器的一种。最值滤波器用于检测亮点或暗点。
    中值滤波的性质:
    (1)不影响阶跃信号、斜坡信号、连续个数少于窗口长度一半的脉冲受到抑制,三角函数顶部变平。
    (2)中值滤波的输出与输入噪声的密度分布有关
    (3)中值滤波频谱特性起伏不大,可以认为中值滤波之后,信号频谱基本不变
    中值滤波窗口形状和尺寸决定了滤波效果,就一般经验而言,对于有缓变的较长轮廓线物体的图像,采用方形或圆形窗口为宜;对于包含有尖顶角物体的图像,用十字形窗口。窗口大小不宜超过图像中最小有效物体的尺寸。如果图像中包含的点、线、尖角较多,则不宜采用中值滤波。
    复合型中值滤波器:中值滤波的线性组合、高阶中值滤波组合、加权中值滤波、迭代中值滤波
    5、图像平均
    基本原理:同一景物的多幅图像取平均值来消噪。
    缺点:难以操作

    3.4 图像锐化

    目的:使模糊的图像变清晰,增强图像的边缘等细节,但同时也会增强噪声,一般先做消噪处理。
    图像锐化的方法:空域法、频域法
    1、微分法
    微分运算通常通过一阶向前差分运算或二阶中心差分来实现。
    (1)梯度算子
    梯度算子的定义
    f(x,y)=[fxfy]T \mathrm{▽}\mathbf{f}(x,y)=\begin{bmatrix}\frac{\partial f}{\partial x} &amp; \frac{\partial f}{\partial y}\end{bmatrix}^T
    梯度幅度
    f(x,y)=f(x,y)=(Gx2+Gy2)12 \mathrm{▽} f(x,y)=|\mathrm{▽}\mathbf{f}(x,y)|=(G_x^2+G_y^2)^{\frac 1 2}
    梯度方向角
    φ(x,y)=arctan(GyGx) φ(x,y)=arctan(\frac {G_y} {G_x})
    水平梯度差分法
    f(x,y)f(x+1,y)f(x,y)+f(x,y+1)f(x,y) \mathrm{▽} f(x,y) \approx |f(x+1,y)-f(x,y)|+|f(x,y+1)-f(x,y)|
    Robert交叉算子
    f(x,y)f(x+1,y+1)f(x,y)+f(x,y+1)f(x+1,y) \mathrm{▽} f(x,y) \approx |f(x+1,y+1)-f(x,y)|+|f(x,y+1)-f(x+1,y)|
    中心差分算子
    {Gx=f(x+1,y)f(x1,y)2Gy=f(x,y+1)f(x,y1)2 \left \{\begin{matrix} G_x=\frac{f(x+1,y)-f(x-1,y)}{2} \\ \\ G_y=\frac{f(x,y+1)-f(x,y-1)}{2} \end{matrix}\right.
    常见的梯度算子:

    算子名称 模板H1 模板H2 特点
    Roberts [0110]\begin{bmatrix}0* &amp; -1 \\ 1 &amp; 0\end{bmatrix} [1001]\begin{bmatrix}-1* &amp; 0 \\ 0 &amp; 1\end{bmatrix} 各向同性;对噪声敏感;模板尺寸为偶数,中心位置不明显
    Prewitt [101101101]\begin{bmatrix}-1 &amp; 0 &amp; 1 \\ -1 &amp; 0* &amp; 1 \\ -1 &amp; 0 &amp; 1 \end{bmatrix} [111000111]\begin{bmatrix}-1 &amp; -1 &amp; -1 \\ 0 &amp; 0* &amp; 0 \\ 1 &amp; 1 &amp; 1\end{bmatrix} 引入了平均因素,对噪声有抑制作用;操作简便
    Sobel [101202101]\begin{bmatrix}-1 &amp; 0 &amp; 1 \\ -2 &amp; 0* &amp; 2 \\ -1 &amp; 0 &amp; 1 \end{bmatrix} [121000121]\begin{bmatrix}-1 &amp; -2 &amp; -1 \\ 0 &amp; 0* &amp; 0 \\ 1 &amp; 2 &amp; 1\end{bmatrix} 引入了平均因素,增强了最近像素的影响,噪声抑制效果比Prewitt要好
    Krisch [335305335]\begin{bmatrix}-3 &amp; -3 &amp; 5 \\ -3 &amp; 0* &amp; 5 \\ -3 &amp; -3 &amp; 5 \end{bmatrix} [333303555]\begin{bmatrix}-3 &amp; -3 &amp; -3 \\ -3 &amp; 0* &amp; -3 \\ 5 &amp; 5 &amp; 5\end{bmatrix} 噪声抑制效果要好;需求出8个方向的响应(这里只给出两个方向的模板)
    Isotropic Sobel [101202101]\begin{bmatrix}-1 &amp; 0 &amp; 1 \\ -\sqrt 2 &amp; 0* &amp; \sqrt 2 \\ -1 &amp; 0 &amp; 1 \end{bmatrix} [121000121]\begin{bmatrix}-1 &amp; -\sqrt 2 &amp; -1 \\ 0 &amp; 0* &amp; 0 \\ 1 &amp; \sqrt 2 &amp; 1\end{bmatrix} 权值反比于邻点与中心点的距离,检沿不同方向边缘时梯度幅度一致,即具有各向同性

    (2)拉普拉斯算子
    拉普拉斯算子:
    Δf=2f=2f2x+2f2y \Delta f=\nabla ^2f=\frac{\partial ^2f}{\partial ^2x}+\frac{\partial ^2f}{\partial ^2y}
    差分表示:
    2ff(x+1,y)+f(x1,y)+f(x,y+1)+f(x,y1)4f(x,y) \nabla ^2f \approx f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)
    常用拉普拉斯模板:
    [010141010][111181111][121242121] \begin{bmatrix} 0 &amp; -1 &amp; 0 \\ -1 &amp; 4* &amp; -1 \\ 0 &amp; -1 &amp; 0 \end{bmatrix} \begin{bmatrix} -1 &amp; -1 &amp; -1 \\ -1 &amp; 8* &amp; -1 \\ -1 &amp; -1 &amp; -1 \end{bmatrix} \begin{bmatrix} 1 &amp; -2 &amp; 1 \\ -2 &amp; 4* &amp; -2 \\ 1 &amp; -2 &amp; 1 \end{bmatrix}
    平滑模板和微分模板的对比:
    (1)微分模板的权系数之和为0,使得灰度平坦区的响应为0。平滑模板的权系数都为正,和为1,这使得灰度平坦区的输出与输入相同。
    (2)一阶微分模板在对比度较大的点产生较高的响应,二阶微分模板在对比度大的点产生零交叉。一阶微分一般产生更粗的边缘,二阶微分则产生更细的边缘。相对一阶微分而言,二阶微分对细线、孤立的点等小细节有更强的响应。
    (3)平滑模板的平滑或去噪程度与模板的大小成正比,跳变边缘的模糊程度与模板的大小成正比。
    2、非锐化滤波
    非锐化滤波:从原始图像中减去原始图像的一个非锐化的或者说是平滑的图像,从而达到增强边缘等细节的目的,用公式表示为:
    g(x,y)=f(x,y)fs(x,y) g(x,y)=f(x,y)-f_s(x,y)
    式中f表示输入图像,fs表示由输入图像得到的平滑图像,g为输出图像。
    图像平滑的实质是一种低通滤波,从原始图像中减去平滑图像就相当于除去低频成分保留了高频成分。
    3、高频增强滤波
    高频增强滤波:如果原始图像与高通图像相加,则可以在保持原始图像概貌的同时突出边缘等细节。将原始图像乘以一个比例系数A,高通图像也乘以一个比例系数K,两者相加得到一个增强图像,称该过程为高频增强滤波。
    fhb(x,y)=Af(x,y)+Kg(x,y) f_{hb}(x,y)=Af(x,y)+Kg(x,y)
    fhb(x,y)f_{hb}(x,y)表示输出图像,g(x,y)g(x,y)f(x,y)f(x,y)的一个高通图像,A>=0,0<=K<=1。K在0.2~0.7之间取值时,高频增强滤波的效果最好;A足够大时,图像锐化作用削弱,输出图像接近原始图像整数倍;特别地,当A=1,K=1时为常用的拉普拉斯高频增强模板。
    常见的拉普拉斯高频增强模板:
    [010151010][111191111][121252121] \begin{bmatrix} 0 &amp; -1 &amp; 0 \\ -1 &amp; 5* &amp; -1 \\ 0 &amp; -1 &amp; 0 \end{bmatrix} \begin{bmatrix} -1 &amp; -1 &amp; -1 \\ -1 &amp; 9* &amp; -1 \\ -1 &amp; -1 &amp; -1 \end{bmatrix} \begin{bmatrix} 1 &amp; -2 &amp; 1 \\ -2 &amp; 5* &amp; -2 \\ 1 &amp; -2 &amp; 1 \end{bmatrix}

    3.5 伪彩色处理

    原理:不同灰度级赋予不同彩色。
    1、灰度分层法:类似于等高线、卫星云图、天气预报图等
    2、灰度变换法:红外热成像仪等
    3、频域滤波法:在频率域进行伪彩色处理

    3.6 同态滤波

    同态滤波:在压缩动态范围的同时增强图像对比度,既增强暗区的图像细节又不损失亮区的图像细节。同态滤波用于消除图像中的非均匀光照,对乘性噪声的滤波效果也比较好。
    通常认为,像素的灰度值为光照的入射分量与物体的反射分量的乘积决定。
    f(x,y)=i(x,y)r(x,y) f(x,y)=i(x,y)r(x,y)
    入射分量描述景物的照明,与景物无关,在空间均匀或缓慢变化,频谱特性集中在低频部分。由于景物具有较多细节内容,因而反射分量随空间变化较大,其频谱特性主要集中在高频部分。通过消除场景关照的不均匀性可以增强图像细节。
    对上式两边取对数
    lnf(x,y)=lni(x,y)+lnr(x,y) \mathrm{ln}f(x,y)=\mathrm{ln}i(x,y)+\mathrm{ln}r(x,y)
    两边做傅里叶变换,得
    Ff(u,v)=Fi(u,v)+Fr(u,v) F_f(u,v)=F_i(u,v)+F_r(u,v)
    高斯高通同态滤波器:
    H(u,v)=(γHγL)[1ecD2(u,v)D02]+γL H(u,v)=(\gamma _H-\gamma _L)[1- e^{-c\frac{D^2(u,v)}{D_0^2}}]+\gamma _L
    γH\gamma _HγL\gamma _L用于控制滤波强度,c用于控制滤波器斜面的锐化程度,D2(u,v)D^2(u,v)为频谱上点(u,v)到频谱中心的距离,D02D_0^2为截止半径。
    同态滤波结果:
    g(x,y)=exp{F1[Ff(u,v)H(u,v)]} g(x,y)=exp\{F^{-1}[F_f(u,v)H(u,v)]\}

    第4章 图像的几何变换

    4.1 几何变换基础

    1、概述
    2、齐次坐标
    标准化齐次坐标是几何变换的基础。
    3、二维图像几何变换矩阵
    P=TP0P0=[x1x2...xny1y2...yn11...1]P=[Hx1Hx2...HxnHy1Hy2...HynHH...H]T=[abpcdq001] P=TP_0 \\ P_0=\begin{bmatrix}x_1 &amp; x_2 &amp; ... &amp; x_n \\ y_1 &amp; y_2 &amp; ... &amp; y_n \\ 1 &amp; 1 &amp; ... &amp; 1\end{bmatrix} \\ \\ P_=\begin{bmatrix}Hx_1&#x27; &amp; Hx_2&#x27; &amp; ... &amp; Hx_n&#x27; \\ Hy_1&#x27; &amp; Hy_2&#x27; &amp; ... &amp; Hy_n&#x27; \\ H &amp; H &amp; ... &amp; H\end{bmatrix} \\ T=\begin{bmatrix}a &amp; b &amp; p \\ c &amp; d &amp; q \\ 0 &amp; 0 &amp; 1\end{bmatrix}

    4.2 图像比例缩放

    1、图像比例放缩变换
    全比例放缩:x轴方向和y轴方向缩放比例相同
    几何畸变:x轴方向和y轴方向缩放比例不相同,会改变像素间的相对位置,产生几何畸变
    插值处理:比例缩放可能导致出现空穴,必须进行插值。插值方法有最邻近插值法和插值算法(如双线性内插值法)
    (1)图像的比例缩小
    I(x,y)=F(int(cx),int(cy)),c=1k I(x,y)=F(int(cx),int(cy)), c=\frac 1 k
    (2)图像的非比例缩小
    I(x,y)=F(int(c1x),int(c2y)),c1=1k1,c2=1k2 I(x,y)=F(int(c_1x),int(c_2y)), c_1=\frac 1 {k_1}, c_2=\frac 1 {k_2}
    (3)图像的比例放大
    最邻近插值法:原图像对应元素如果不存在就取邻近的元素。
    线性插值法:
    g(x,y)=(1q)[(1p)f([x],[y]+1)+pf([x]+1,[y])]+q[(1p)f([x],[y]+1)+pf([x]+1,[y]+1)] g(x,y)=(1-q)[(1-p)f([x],[y]+1)+pf([x]+1,[y])]+q[(1-p)f([x],[y]+1)+pf([x]+1,[y]+1)]
    在这里插入图片描述
    2、比例缩放的实现 (略)

    4.3 图像平移

    没啥说的

    4.4 图像镜像

    没啥说的

    4.5 图像旋转

    1、图像的旋转变换
    变换矩阵没啥说的
    插值方法:行插值、列插值、双线性插值
    2、图像旋转的实现(略)

    4.6 图像复合变换

    复合平移、复合比例、复合旋转、图像转置、任意点比例缩放、任意点旋转
    插值方法:
    在这里插入图片描述
    插值算法:双线性插值、最邻近插值

    4.7 透视变换

    1、透视变换
    投影变换:把空间坐标系中的三维物体或对象转变为二维图像表示的过程称为投影变换。根据视点和投影平面之间的距离的不同,投影可分为平行投影(距离∞)和透视投影(有限距离)。
    平行投影:投影线互相平行的投影称为平行投影,分为正投影和斜投影。正投影要求投影线垂直于投影面,分为正交投影和正轴测投影,正交投影要求坐标轴必须正交,正轴测投影要求坐标轴夹角都相等即为120°,根据坐标轴单位长度是否都相等分为正等轴测图、正二轴测图、正三轴测图。斜投影不要求投影线与投影面垂直,根据坐标轴单位长度是否相等分为斜等测投影和斜二测投影。
    透视投影:投影线不相互平行的投影,根据灭点的数量分为一点透视、两点透视和三点透视。
    2、其他变换
    几何畸变:成像与目标之间不相似的情况称为几何畸变。
    (1)非矩形像素坐标的转换
    极坐标、柱坐标、球坐标→笛卡尔坐标系
    (2)图像错切
    平面景物在投影平面上的非垂直投影。
    水平错切、垂直错切
    (3)图像卷绕
    通过指定一系列控制点的位移来定义空间变换的图像变形的处理技术,非控制点的位移则通过控制点进行插值。

    4.8 几何畸变的矫正

    在这里插入图片描述
    几何畸变两个关键步骤:图像空间像素坐标的几何变换——空间变换;变换后的标准图像空间的各像素灰度值的计算——灰度值计算。
    校正函数的建立步骤:
    (1)利用控制点对图像数据建立一个模拟几何畸变的数学模型,以建立畸变图像空间与标准空间的对应关系
    (2)用这种对应关系把畸变空间中的全部元素变换到标准空间中去。
    重采样的方法:
    (1)直接成图法
    畸变图像元素→标准图像空间正确的位置
    (x,y)=f(u,v)(x,y)=\boldsymbol f(u,v)
    (2)间接成图法(重采样成图法)
    标准图像空间某个位置→对应畸变图像位置
    (u,v)=f1(x,y)(u,v)=\boldsymbol f^{-1}(x,y)
    两种方法的区别:校正函数不同,直接成图法通过亮度重配置获得亮度值,间接成图法通过亮度重采样获得亮度值。
    多项式校正法:将几何畸变看成各种类型仿射变换复合作用的结果。
    {u=gu(x,y)=i=0nj=0niaijxiyjv=gv(x,y)=i=0nj=0nibijxiyj \left \{ \begin{matrix} u=g_u(x,y)=\sum_{i=0}^{n}\sum_{j=0}^{n-i}a_{ij}x^iy^j \\ \\ v=g_v(x,y)=\sum_{i=0}^{n}\sum_{j=0}^{n-i}b_{ij}x^iy^j \end{matrix} \right.
    拟合误差平方和:
    {εu=k=1K(uki=0nj=0niaijxkiykj)2εv=k=1K(vki=0nj=0nibijxkiykj)2 \left \{ \begin{matrix} \varepsilon_u=\sum_{k=1}^K(u_k-\sum_{i=0}^{n}\sum_{j=0}^{n-i}a_{ij}x_k^iy_k^j)^2 \\ \\ \varepsilon_v=\sum_{k=1}^K(v_k-\sum_{i=0}^{n}\sum_{j=0}^{n-i}b_{ij}x_k^iy_k^j)^2 \end{matrix} \right.
    使用最小二乘法计算系数时,控制点的数目不能小于n。

    第5章 频域处理

    数字图像处理的两类方法:空域法、频域法
    频域法:把图像信号从空域转换为频域进行图像分析
    频域处理的应用:图像特征的提取、图像压缩编码、减小计算维数

    5.1 频域与频域变换

    频域变换的理论基础:任意波形都可以表示为一系列正弦波的加和
    幅频特性——振幅与频率之间的关系
    相频特性——初相与频率之间的关系
    时域和频域的变换:
    f(x)A(ω),Φ(ω)F(ω)f(x)\begin{matrix}正变换 \\ \Leftrightarrow \\ 逆变换\end{matrix}A(\omega),\Phi(\omega) \rightarrow F(\omega)
    5.2 傅里叶变换
    1、连续函数的傅里叶变换
    关键词:狄利克雷条件、二维傅里叶变换
    2、离散傅里叶变换
    定义:
    F[f(x)]=F(u)=x=0N1f(x)ej2πuxNF1[F(u)]=f(x)=1Nu=0N1F(u)ej2πuxNF[f(x)]=F(u)=x=0N1f(x)[cos(2πNux)jsin(2πNux)]F1[F(u)]=f(x)=1Nu=0N1F(u)[cos(2πNux)+jsin(2πNux)] \mathscr{F}[f(x)]=F(u)=\sum_{x=0}^{N-1}f(x)e^{-j\frac {2\pi ux}{N}} \\ \mathscr{F}^{-1}[F(u)]=f(x)=\frac 1 N \sum_{u=0}^{N-1}F(u)e^{j\frac {2\pi ux}{N}} \\ \mathscr{F}[f(x)]=F(u)=\sum_{x=0}^{N-1}f(x)[cos(\frac {2\pi} Nux)-j\cdot sin(\frac {2\pi} Nux)] \\ \mathscr{F}^{-1}[F(u)]=f(x)=\frac 1 N \sum_{u=0}^{N-1}F(u)[cos(\frac {2\pi} Nux)+j\cdot sin(\frac {2\pi} Nux)] \\
    离散傅里叶变换的结果仍然是一个离散的序列,对每一个u对应的傅里叶变换结是所有输入序列f(x)的加权和,u决定了每个傅里叶变换结果的频率
    如果F(u)可以表示为F(u)=R(u)+jI(u)F(u)=R(u)+jI(u),且R(u)和I(u)是实函数,则称F(u)=R2(u)+I2(u)|F(u)|=\sqrt {R^2(u)+I^2(u)}为f(x)的频谱,φ(u)=arctan(I(u)R(u))\varphi(u)=arctan(\frac {I(u)}{R(u)})为f(x)的相位谱。频谱的平方称为能量谱。
    二维离散傅里叶变换:
    F[f(x,y)]=F(u,v)=x=0M1y=0N1f(x,y)ej2π(uxM+vyN)F1[f(x,y)]=F(u,v)=1MNu=0M1v=0N1F(u,v)ej2π(uxM+vyN) \mathscr{F}[f(x,y)]=F(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)e^{-j2\pi (\frac {ux} M+\frac {vy} N)} \\ \mathscr{F}^{-1}[f(x,y)]=F(u,v)=\frac 1 {MN}\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F(u,v)e^{j2\pi (\frac {ux} M+\frac {vy} N)}
    3、离散傅里叶变换的性质
    在这里插入图片描述
    在这里插入图片描述
    4、离散傅里叶变换的openCV 不考

    5.3 频域变换的一般表达式

    1、可分离变换
    二维傅里叶变换通用表达式:
    F(u,v)=x=0M1y=0N1f(x,y)g(x,y,u,v)f(x,y)=u=0M1v=0N1F(u,v)h(x,y,u,v) F(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)\cdot g(x,y,u,v) \\ f(x,y)=\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F(u,v)\cdot h(x,y,u,v)
    其中g和h分别被称为正向变换核与负向变换核。
    可分离的:
    如果
    g(x,y,u,v)=g1(x,u)g2(y,v)h(x,y,u,v)=h1(x,u)h2(y,v) g(x,y,u,v)=g_1(x,u)\cdot g_2(y,v) \\ h(x,y,u,v)=h_1(x,u)\cdot h_2(y,v)
    则称正反变换核是可分离的。进一步地,如果g1和g2,h1和h2在函数形式上一致,则称该变换核是对称的。
    2、图像变换的矩阵表示
    F=PfQf=P1FQ1P(u,x)=g1(x,u)=ej2πuxMQ(y,v)=g2(y,v)=ej2πvyN \boldsymbol {F=PfQ} \\ \boldsymbol {f=P^{-1}FQ^{-1}} \\ P(u,x)=g_1(x,u)=e^{-j\frac {2\pi ux} M} \\ Q(y,v)=g_2(y,v)=e^{-j\frac {2\pi vy} N}

    5.4 离散余弦变换(DCT)

    1、一维离散余弦变换
    DCT变换核定义:
    g(x,u)=C(u)2Ncos(2x+1)uπ2NC(u)={12,u=01,else \begin{matrix} g(x,u)=C(u)\sqrt {\frac 2 N cos \frac {(2x+1)u\pi} {2N}} \\ \\ C(u)=\left \{ \begin{matrix} \frac 1 {\sqrt 2}, u=0 \\ \\ 1,else\end{matrix}\right. \end{matrix}
    一维DCT定义:
    F(u)=x=0N1f(x)g(x,u)F=Gf(G(u,x)=g(x,u) F(u)=\sum_{x=0}^{N-1}f(x)g(x,u) \\ \boldsymbol {F=Gf}(矩阵形式,G(u,x)=g(x,u))
    在这里插入图片描述
    DCT逆变换IDCT:
    h(x,u)=g(x,u)=C(u)2Ncos(2x+1)uπ2Nf(x)=u=0N1F(u)h(x,u) h(x,u)=g(x,u)=C(u)\sqrt {\frac 2 N cos \frac {(2x+1)u\pi} {2N}} \\ f(x)=\sum_{u=0}^{N-1}F(u)h(x,u)
    2、二维离散余弦变换
    2D-DCT:
    g1(x,u)=2MC(u)cos(2x+1)uπ2Mg2(y,v)=2NC(v)cos(2x+1)vπ2Ng(x,y,u,v)=g1(x,u)g2(y,v)F(u,v)=x=0M1y=0N1f(x,y)g(x,y,u,v) g_1(x,u)= \sqrt {\frac 2 M} C(u) cos \frac {(2x+1)u\pi} {2M} \\ g_2(y,v)= \sqrt {\frac 2 N} C(v) cos \frac {(2x+1)v\pi} {2N} \\ g(x,y,u,v)=g_1(x,u)g_2(y,v) \\ F(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)g(x,y,u,v)
    2D-IDCT:
    h1(x,u)=g1(x,u)h2(y,v)=g2(y,v)h(x,y,u,v)=h1(x,u)h2(y,v)f(x,y)u=0M1v=0N1F(u,v)h(x,y,u,v) h_1(x,u)=g_1(x,u) \\ h_2(y,v)=g_2(y,v) \\ h(x,y,u,v)=h_1(x,u)\cdot h_2(y,v) \\ f(x,y)\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F(u,v)h(x,y,u,v)

    5.5 频域中图像处理的实现

    1、理解数字图像的频谱图
    数字图像平移后的频谱中,图像的能量将集中到频谱中心(低频成分),细节信息分散在图像频谱的边缘。频谱中的低频成分代表了图像的概貌,高频成分代表了图像中的细节。
    2、频域图像处理步骤
    在这里插入图片描述
    3、频域滤波
    低通滤波器、高通滤波器、带通滤波器、带阻滤波器
    高通巴特沃斯滤波器:H(u,v)=11+[D0D(u,v)]2nH(u,v)=\frac 1 {1+[\frac {D_0} {D(u,v)}]^{2n}}
    低通巴特沃斯滤波器:H(u,v)=11+[D(u,v)D0]2nH(u,v)=\frac 1 {1+[\frac {D(u,v)} {D_0}]^{2n}}

    5.6 小波变换简介(暂略)

    第6章 数学形态学处理

    数学形态学四种基本运算:腐蚀、膨胀、开运算、闭运算

    6.1 引言

    1、数学形态学
    数学形态学的基本思想:用具有一定形态的结构元素去量度和提取图像中的对应形状,已以达到图像分析和识别的目的。
    2、基本符号和术语
    元素和集合、交并补差、平移反射、目标图像与结构元素
    击中与击不中:交集为空击不中,交集不为空击中

    6.2 二值形态学

    1、腐蚀
    XS={xXS+xX}X\ominus S=\{x\in X |S+x\subseteq X\}
    理解:把结构体元素放在目标图像中移动,则结构体元素的原点的集合构成腐蚀的结果。
    2、膨胀
    XS={X+ssS}={S+xxX}={x(Sv+x)X}X\oplus S=\bigcup\{X+s|s\in S\}=\bigcup\{S+x|x\in X\}=\{x|(S^v+x) \cap X\neq \varnothing\}
    理解:第二种定义比较好理解,即吧结构体元素原点放在目标图像中移动,所有结构体元素的并。
    运算律:
    X(YZ)=(XY)(XZ)X(YZ)=(XY)(XZ)(XY)Z(XZ)(YZ)(XY)Z=(XZ)(YZ)(XY)Z=(XZ)(YZ)(XY)Z(XZ)(YZ) X\ominus(Y\cap Z)=(X\ominus Y)\cap(X\ominus Z) \\ X\oplus(Y\cap Z)=(X\oplus Y)\cap(X\oplus Z) \\ (X\cap Y)\ominus Z\supset(X\ominus Z)\cap (Y\ominus Z) \\ (X\cap Y)\oplus Z=(X\oplus Z)\cap (Y\oplus Z) \\ (X\cup Y)\ominus Z=(X\ominus Z)\cup (Y\ominus Z) \\ (X\cup Y)\oplus Z\subseteq(X\oplus Z)\cup (Y\oplus Z)
    3、开闭运算
    开运算:XS=(XS)SX○S=(X\ominus S)\oplus S
    闭运算:XS=(XS)SX\cdot S=(X\oplus S)\ominus S
    开闭运算的代数性质:
    (1)对偶性:(XCS)C=XS;(XCS)=XS(X^C○S)^C=X\cdot S; (X^C\cdot S)=X○S
    (2)扩展性:XSXXSX○S\subseteq X \subseteq X\cdot S
    开运算恒使图像缩小,闭运算恒使图像扩展。
    (3)单调性:XYXSYS,XSYSX\subseteq Y \Rightarrow X\cdot S\subseteq Y\cdot S, X○ S\subseteq Y○ S
    YZZY=ZXYXZY\subseteq Z\wedge Z\cdot Y=Z \Rightarrow X\cdot Y\subseteq X \cdot Z
    (4)平移不变性:(X+h)S=(XS)+h(X+h)\cdot S=(X\cdot S)+h
    (X+h)S=(XS)+h(X+h)○ S=(X○ S)+h
    X(S+h)=XSX\cdot (S+h)=X\cdot S
    X(S+h)=XSX○ (S+h)=X○ S
    (5)等幂性:(XS)S=XS,(XS)S=XS(X\cdot S)\cdot S = X\cdot S,(X○ S)○ S = X○ S
    (6)开闭运算与集合的关系:
    (i=0nXi)Si=0n(XiS)(\bigcup_{i=0}^{n}X_i)○S\supseteq \bigcup_{i=0}^{n}(X_i○S)
    (i=0nXi)Si=0n(XiS)(\bigcap_{i=0}^{n}X_i)○S\subseteq \bigcap_{i=0}^{n}(X_i○S)
    (i=0nXi)Si=0n(XiS)(\bigcup_{i=0}^{n}X_i)\cdot S\supseteq \bigcup_{i=0}^{n}(X_i\cdot S)
    (i=0nXi)Si=0n(XiS)(\bigcap_{i=0}^{n}X_i)\cdot S\subseteq \bigcap_{i=0}^{n}(X_i\cdot S)
    4、击中击不中变换
    XS={xS1+xXS2+xXC}=(XS1)(XCS2)X\odot S=\{x|S_1+x\subseteq X \wedge S_2+x\subseteq X^C\}=(X\ominus S_1)\cap(X^C\ominus S_2)

    6.3 灰值形态学

    1、灰值腐蚀
    (fb)(s,t)=min{f(s+x,t+y)b(x,y)s+x,t+yDfx,yDb}(f\ominus b)(s,t)=min\{f(s+x,t+y)-b(x,y)|s+x,t+y\in D_f \wedge x,y \in D_b\}
    腐蚀的计算是在由结构元素确定的领域中选取fbf\ominus b的最小值,所以灰值图像的腐蚀操作会有两类效果:如果结构体元素的值都为正,则输出图像会比原图像暗;如果输入图像中亮细节的尺寸比结构元素小,则其影响会被减弱。
    2、灰值膨胀
    (fb)(s,t)=max{f(sx,ty)+b(x,y)sx,tyDfx,yDb}(f\oplus b)(s,t)=max\{f(s-x,t-y)+b(x,y)|s-x,t-y\in D_f \wedge x,y \in D_b\}
    膨胀的计算是在由结构元素确定的领域中选取fbf\oplus b的最大值,所以对灰值图像的膨胀有两类效果:如果结构体元素的值都为正,则输出图像会比原图像亮;如果输入图像中暗细节的灰度值及形状相对于结构体元素的大小,则其被消减或消除。
    膨胀或腐蚀满足以下对偶关系:
    (fb)C=fCbV(f\oplus b)^C=f^C \ominus b^V
    (fb)C=fCbV(f\ominus b)^C=f^C \oplus b^V
    3、灰值开闭运算
    定义与二值形态学定义类似,亦满足类似的对偶关系。
    灰值开运算削平山峰。灰值闭运算填平深谷。
    实际中常用开运算操作消除与结构元素相比尺寸较小的亮细节,而保持整体灰度值和大的亮区域;实际应用中常使用闭运算操作消除与结构元素相比尺寸较小的暗细节,而保持图像整体灰值和大的暗区域。

    6.4 形态学的应用

    灰值形态学的主要算法有:灰值形态学梯度、形态学平滑、纹理分割、顶帽变换等
    二值形态学的主要算法有:二值形态学滤波、骨架抽取等
    1、形态学滤波
    将开运算与闭运算相结合可以构成形态学噪声滤除器,开运算滤除黑色背景上的白色噪声,闭运算滤除白色前景中的黑色噪声。
    2、骨架提取
    骨架定义方法:火种法、最大圆盘法
    (1)基于腐蚀和开运算的细化
    定义骨架子集Sk(X)S_k(X)为图像X内所有最大圆盘kB(至少与两条边相切的内切圆)的圆心x构成的集合。从骨架的定义可知,骨架是所有骨架子集的并,即
    Sk(X)={Sk(X)k=0,1,...,n} S_k(X)=\bigcup\{S_k(X)|k=0,1,...,n\}
    可以证明骨架子集可以表示为:
    Sk(X)=(XkB)[(XkB)B]XkB=(X(k1)B)B S_k(X)=(X\ominus kB)-[(X\ominus kB)○ B] \\ 递推公式:X\ominus kB=(X\ominus (k-1)B)\ominus B
    所以:
    S(X)={(XkB)[(XkB)B]k=0,1,2,...,n} S(X)=\bigcup\{(X\ominus kB)-[(X\ominus kB)○B]|k=0,1,2,...,n\}
    停止迭代的时机:XkBX\ominus kB\varnothing
    (2)快速形态学细化算法

    在这里插入图片描述
    (1)(2)(4)(6)都不能删除,(2)(4)可以删除
    可以删除的情况:内部点不可删除、孤立点不可删除、直线端点不可删除、去掉后连通分量不增加。

    第7章 图像分割

    图像分割就是把图象分成一系列有意义的、各具特征的目标或区域的技术和过程。这里的特征包括图像的统计特征和视觉特征。统计特征包括图像的直方图、矩和频谱等,图像的视觉特征主要包括区域的亮度、纹理或轮廓等。
    图像分割一般基于像素灰度值的两个性质:不连续性和相似性。区域之间的边界往往具有有灰度不连续性,而区域内部一般具有灰度相似性。
    图像分割算法一般分为两类:利用灰度不连续性——基于边界的分割;利用灰度相似性——基于区域的分割
    常用算法:阈值分割、区域生长、区域分裂与合并、边缘检测与边界连接、区域标记与轮廓跟踪、分水岭分割、Mean Shift和Graph Cuts算法

    7.1 阈值分割

    1、概述
    基本假设:目标与背景相邻像素间灰度值高度相关;目标与边界两侧像素灰度值差别很大;目标与背景的灰度分布都是单峰的。
    阈值分割过程:阶跃函数
    阈值分割的关键——阈值的确定:
    (1)种类:全局阈值、局部阈值、动态阈值(自适应阈值)
    (2)阈值分割的要素:T=T[x,y,f(x,y),p(x,y)]T=T[x,y,f(x,y),p(x,y)], f(x,y)表示灰度值,p(x,y)表示某种局部性质。
    2、全局阈值
    适用条件:“双峰”性质
    确定全局阈值的方法:
    (1)极小点阈值法:取直方图谷底位置作为阈值
    (2)迭代阈值法:初始阈值T1T_1→像素划分为G1G_1G2G_2→计算平均灰度μ1\mu_1μ2\mu_2→计算新的阈值T2=μ1+μ22T_2=\frac {\mu_1+\mu_2} 2→迭代→终止条件T2T1&lt;T0|T_2-T_1| &lt;T_0
    (3)最优阈值法:选择一个阈值使得总的分类误差概率降到最低。
    p(z)p(z)为灰度概率密度函数,p1(z)p_1(z)p2(z)p_2(z)分别为背景和目标灰度条件概率密度函数,P1P_1P2P_2为背景和目标像素出现的概率,那么由全概率公式得:
    p(z)=P1p1(z)+P2p2(z) p(z)=P_1p_1(z)+P_2p_2(z)
    把目标像素错分为背景像素的误差条件概率为:
    E1(T)=Tp1(z)dz E_1(T)=\int_{-\infty}^Tp_1(z)\mathrm{d}z
    把背景像素错分为背景像素的误差条件概率为:
    E2(T)=T+p2(z)dz E_2(T)=\int_T^{+\infty}p_2(z)\mathrm{d}z
    由全概率公式得总误差概率为:
    E(T)=P2E1(T)+P1E2(T) E(T)=P_2E_1(T)+P_1E_2(T)
    一般认为目标与背景的灰度服从高斯分布,利用概率论与数理统计中最大似然估计方法可以得到最优解
    T=μ1+μ22+σ2μ1μ2ln(P2P1) T=\frac {\mu_1+\mu_2} 2+\frac {\sigma^2} {\mu_1-\mu_2}ln(\frac{P_2}{P_1})
    (4)Otsu方法:使阈值分割后各个像素类的类间方差最大。
    步骤:将像素按灰度值进行分级,计算从第0个灰度级到第k个灰度级的概率和均值(数学期望),M个阈值将灰度值分为M+1个像素类,计算每个像素类的概率、平均灰度、方差,所有像素类的概率之和为1,图像总的平均灰度是所有像素类灰度的数学期望,类内方差定义为像素类灰度方差的数学期望,类间方差定义为像素类灰度均值的方差。
    (5)p参数法
    选取一个阈值T使得目标面积与背景面积的比为p:(1-p)
    3、局部阈值
    (1)直方图变换法
    对波谷进行切割或峰谷颠倒、根据像素的梯度值进行加权
    (2)散射图
    二维坐标图,横轴为灰度,纵轴为某种局部性质(如梯度值),亮度表示频数。根据亮色进行聚类。
    4、动态阈值
    网格划分,每个子图像定一个阈值。
    一种动态阈值算法:
    子图像分解→对于具备“双峰”采用最优阈值→插值得到其他阈值→分割

    7.2 基于区域的分割

    1、区域生长
    实质是bfs,需要初始种子,相似性准则
    2、区域分裂与合并
    先进行迭代四分裂,满足一致性条件后停止迭代,然后进行合并

    7.3 边缘检测

    常见的边缘类型:阶跃型、斜坡型、线状型、屋顶型
    1、微分算子
    在这里插入图片描述
    结论:一阶导数的幅度值可以用来检测边缘的存在,通过检测二阶导数的过零点可以确定边缘的中心位置,利用二阶导数在过零点附近的符号可以判断是在边缘的亮区还是暗区,处理之前要先消噪。
    (1)梯度算子:
    Krisch、Prewitt,均可沿8个方向
    (2)高斯-拉普拉斯算子
    结合了高斯平滑滤波器与拉普拉斯锐化滤波器。
    在这里插入图片描述
    在这里插入图片描述
    (3)Canny边缘检测
    Canny算子是一个非常有效的边界检测算子。
    ①首先对灰度图像进行高斯平滑。
    ②接着计算每个像素的梯度幅值和梯度方向。
    ③ 然后细化边缘。如果当前像素的梯度幅值不高于梯度方向上两个邻点的梯度幅值,则抑制该像素响应,这种方法称之为非最大抑制。
    ④ Canny算子使用两个幅值阈值,高阈值用于检测梯度幅值大的强边缘,低阈值用于检测梯度幅值较小的弱边缘。低阈值通常取为高阈值的一半。
    ⑤ 边缘细化后,就开始跟踪具有高幅值的轮廓。
    ⑥ 最后,从满足高阈值的边缘像素开始,顺序跟踪连续的轮廓段,把与强边缘相连的弱边缘连接起来。
    2、边界连接
    幅度阈值、角度阈值
    3、哈夫变换
    前提条件:已知区域形状
    (1)直线检测
    y=ax+b→b=-ax+y→{b=axi+yib=axj+yj\left \{\begin{matrix}b=-ax_i+y_i \\ b=-ax_j+y_j\end{matrix}\right.
    在这里插入图片描述
    如果多个点在同一条直线上,则在参数空间中对应直线必交于同一点。
    步骤:参数a、b进行量化,对于目标空间的每一个点,让a取遍每一个值apa_p,代入b=-ax+y,得到bpb_p,给A(p,q)++,处理完所有像素查找峰值即可知道最可能的a与b。
    斜截式方程有缺陷,一般可以换为法线式方程:ρ=xcosθ+ysinθ\rho=xcos\theta +ysin\theta
    (2)圆的检测:
    {a=xrcosθb=yrsinθ \left \{ \begin{matrix} a=x-rcos\theta \\ b=y-rsin\theta \end{matrix} \right.
    (3)任意曲线的检测:类似做法

    7.4 区域标记与轮廓追踪

    1、区域标记
    递归标记:BFS
    序贯标记:左、左上、上、右上邻点,如果都是背景,当前点新建标记;如果有一个被标记,复制标记;如果有两个不同标记,赋值之一,并在等价表中记录,再次扫描把等价的标记改为最小标记。
    2、轮廓提取
    八面合围置为背景
    3、轮廓追踪
    步骤:扫描图像,选定左上角点,初始dir为左下方向(4方向中为向下),逆时针查找边界点,查找到的新边界点作为当前点,在顺时针转回一个方向,迭代直到回到起始点。

    7.5 分水岭分割

    1、基本分水岭算法
    降雨法:降水,递归寻找低洼点,雨水流向>=2个低洼的是分水岭。
    淹没法:提升水位,如果水流溢出地外就筑坝,最后堤坝就是分水岭。
    2、Vincent-Soille算法
    类似并查集,提升水位,水平面与一些点相交,对于这些点,如果邻接点没有标记,新建标记,如果有标记,复制标记(取最近的积水盆地)
    使用分水岭分割之前先做距离变换,去除粘连。

    7.6 现代分割方法(略)

    7.7 图像分割实例

    大米计数:
    (1)高斯滤波、中值滤波或开闭运算消噪
    (2)消除非均匀光照:背景照度估计、灰值形态学、同态滤波
    (2)区域分割

    第8章 图像特征与理解

    图像特征:人视觉能够识别的自然特征,分为全局特征和局部特征。
    ,全局特征用于描述图像或目标的颜色或形状等整体特征,局部特征指一些能够稳定出现并具有良好可区分性的特征。

    8.1 图像的基本特征

    提取图像几何特征之前,分割和二值化处理。
    1、几何特征
    (1)位置和方向
    位置:质心
    方向:最小二阶矩轴(最小转动惯量)
    (2)周长
    隙码:把像素看成小方块后图形的绝对周长
    链码:边界像素中心点连线的长度
    边界点数之和:边界像素的个数
    (3)面积
    像素计数面积:统计边界内部像素的个数
    由边界行程码计算面积:
    ①已知区域的行程编码,只需把值为1的行程长度相加,即为区域面积。
    ②若给定边界的某种表示,则相应连通区域的面积应为区域外边界包围的面积,减去它的内边界包围的面积(空的面积)
    yk=y0+i=0kΔyiΔyi={1,εi=1,2,30,εi=0,41,εi=5,6,7Δxi={1,εi=0,1,70,εi=2,61,εi=3,4,5A=i=1n(yi1Δxi+a) y_k=y_0+\sum_{i=0}^k\Delta y_i \\ \Delta y_i=\left \{\begin{matrix}-1,\varepsilon _i = 1,2,3 \\ 0,\varepsilon _i = 0,4\\ 1,\varepsilon _i = 5,6,7 \\\end{matrix}\right. \\ \Delta x_i=\left \{\begin{matrix}-1,\varepsilon _i = 0,1,7 \\ 0,\varepsilon _i = 2,6\\ 1,\varepsilon _i = 3,4,5 \\\end{matrix}\right. \\ A=\sum_{i=1}^n(y_{i-1}\Delta x_i+a)
    由边界坐标计算面积:利用格林公式,A=12i=1Nb(xiyi+1xi+1yi]A=\frac 1 2 \sum_{i=1}^{N_b}(x_iy_{i+1}-x_{i+1}y_i]
    (4)长轴和短轴
    最小外接矩形的长与宽
    (5)距离
    欧式距离、市区距离、棋盘距离
    2、形状特征
    (1)矩形度=物体面积/最小外接矩形面积
    长宽比=最小外接矩形的宽与长的比值
    (2)圆形度:
    致密度=周长^2/面积
    边界能量:物体的周长为P,p表示边界点到某一起始点的距离,该点处的曲率半径为r§,则曲率为K§=1/r§,边界能量为E=1P0pK(p)2dpE=\frac 1 P\int_{0}^{p}|K(p)|^2\mathrm{d}p,在面积相同的情况下,圆具有最小的边界能量E0=(2πP)2=(1R)2E_0=(\frac {2\pi} P)^2=(\frac 1 R)^2
    原型性=区域质心到边界点的平均距离/区域质心到边界点的距离均方差,当区域R趋向圆形时,圆形性趋向无穷。
    面积与平均距离平方的比值=面积/内部点到边界点的平均距离
    3、球状性=内切圆半径/外接圆半径
    4、偏心率=区域长轴/区域短轴
    5、形状描述子
    (1)边界链码
    在这里插入图片描述
    在这里插入图片描述
    (2)一阶差分链码
    为了改进边界链码在旋转过程中会改变的情况。
    在这里插入图片描述
    (3)傅里叶描述子
    原理:将二维问题转化为一维问题进行处理,可以将边界曲线转化为一维函数,或者将边界曲线转化为复平面上点的序列。假定有一个复数序列,可以对其采用采用离散傅里叶变换,得到的结果就成为傅里叶变换子。

    8.2 角点特征

    角点:亮度变化最剧烈、图像边缘曲线上曲率最大,具有高信息密度和旋转不变的特性
    角点检测算法的4个准则:检测性、定位性、稳定性、复杂性
    角点检测方法的分类:基于边缘的检测算法、基于灰度变化的检测算法。前者做法是找曲率最大边界点或拐点或进行多边形拟合,但抗噪差且依赖边缘提取结果。后者做法为对局部结果进行分析,进行角点性质检测。
    1、Moravec算法
    灰度变化定义为沿各个方向移动窗口的灰度值与当前窗口灰度值差的平方和。
    E(u,v)=(x,y)W(I(x+u,y+v)I(x,y))2 E(u,v)=\sum_{(x,y)\in W}(I(x+u,y+v)-I(x,y))^2
    在这里插入图片描述
    2、Harris算法
    在Moravec算法基础上给不同方向的灰度变化方差加上权值,该权值为二维高斯窗口函数。
    E(u,v)=(x,y)Ww(x,y)(I(x+u,y+v)I(x,y))2w(x,y)=e(xx0)2+(yy0)22σ2I(x+u,y+v)I(x+u,y+v)=I(x,y)+uIx+vIy:E(u,v)=[u,v]M[u,v]TM=(x,y)Ww(x,y)[Ix2IxIyIxIyIy2]=[abcd] E(u,v)=\sum_{(x,y)\in W}w(x,y)(I(x+u,y+v)-I(x,y))^2 \\ w(x,y)=e^{-\frac {(x-x_0)^2+(y-y_0)^2} {2\sigma^2}} \\ 对I(x+u,y+v)进行泰勒展开:I(x+u,y+v)=I(x,y)+uI_x+vI_y \\ 代入上面的式子得:E(u,v)=[u,v]\boldsymbol M[u,v]^T \\ \boldsymbol M=\sum_{(x,y)\in W}w(x,y)\begin{bmatrix}I_x^2 &amp; I_xI_y \\ I_xI_y &amp; I_y^2 \end{bmatrix}=\begin{bmatrix}a &amp; b \\ c &amp; d \end{bmatrix}
    特征值λ1与λ2决定了矩阵M的性质:
    在这里插入图片描述
    3、SUSAN算法
    角点处的SUSAN面积具有局部最小值
    在这里插入图片描述

    8.3~8.6 (略)

    附加:图像匹配

    方法:投影法与差影法
    投影法:分为水平投影法和垂直投影法。基本原理是统计每行或每列目标像素的个数,得到一个直方图,根据直方图很容易就能找到目标图像的位置。
    差影法:利用同一景物同一时刻或不同时刻的图像,进行加、减、乘、除代数运算,分析得出某一物体的位置和运动情况

    第9章图像编码

    9.1 图像编码概述

    1、图像编码的基本原理和方法
    (1)图像数据冗余:
    空间冗余:内部相邻像素较强的相关性导致的冗余
    时间冗余:相邻两帧图像之间的相关性导致的冗余
    信息熵冗余:编码冗余,用于表示信源符号的平均比特数大于其信息熵时所产生的冗余。信息熵H=i=1Npilbpi=i=1Npilb1pilbNH=-\sum_{i=1}^{N}p_ilbp_i=\sum_{i=1}^{N}p_ilb\frac 1 {p_i}\le lbN
    结构冗余:图像中存在较强的纹理结构和自相似性
    知识冗余:图像中包含与某些先验知识有关的信息
    视觉冗余:人眼不能感知的那部分信息
    (2)图像编码方法
    分类:有损编码和无损编码;熵编码、预测编码、变换编码、量化编码
    熵编码:
    ①哈夫曼编码、香农-范诺编码、算术编码
    ②理论基础:平均码长等于信息熵时,总可设计出一种无损编码
    ③等长编码与变长编码
    ④变长编码定理:若一个离散无记忆信源的符号集具有r个码元,熵为H,则总可以找到一种无失真编码,构成单义可译码,使其平均码长L满足HlbrLHlbr+1\frac H {lbr}\le L \le \frac H {lbr}+1
    预测编码:基于图像数据的空间或时间冗余性,利用相邻已知像素预测当前像素的值,再对预测误差进行量化和编码。
    变换编码:空间域图像正交变换到另一变换域上,降低相关性。
    量化编码:通过将动态范围较大的输入信号映射到有限个离散值上。
    2、图像编码新技术(略)
    3、图像编码评价
    编码效率:平均码字长度L,压缩比CRC_R,编码效率η
    L=i=1NpiLiCR=BLη=HL L=\sum_{i=1}^{N}p_iL_i \\ C_R=\frac B L \\ \eta = \frac H L
    编码质量:均方误差MSE、峰值信噪比PSNR
    算法复杂度和算法的适用范围

    9.2 哈夫曼编码

    不会的挨打

    9.3 香农-范诺编码

    1、基本方法:
    信源符号出现概率降序排序;
    计算符号对应码字长度:logDPiNilogDPi+1-log_DP_i\le N_i \le -log_DP_i+1
    计算累加概率:Ai=k=0i1piA_i=\sum_{k=0}^{i-1}p_i
    将累加概率转换为二进制,取前NiN_i位。
    2、二分法香农-范诺编码方法
    在这里插入图片描述

    9.4 算术编码

    两种模式:基于信源概率统计特性的固定编码模式、针对未知信源概率模型的自适应模式
    在这里插入图片描述

    9.5 行程编码

    aabbbcddddd=2a3b1c5d

    9.6 LZW编码

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 首先,我们要明白什么是数字图像处理数字图象处理就是应用计算机对数字化的图片进行处理,数字化的图片就是由离散的每个点组成,每个点都有灰度值。当然,对于数字图象处理也可以理解为包括两个方面:一是输入与...

        从今天开始,小哥就和大家一起学习数字图象处理吧!这里我更多是说原理这一层,要是大家想动手实践的话,有兴趣就去看看《学习opencv》,里面都是真刀真枪的操作!

    首先,我们要明白什么是数字图像处理。数字图象处理就是应用计算机对数字化的图片进行处理,数字化的图片就是由离散的每个点组成,每个点都有灰度值。当然,对于数字图象处理也可以理解为包括两个方面:一是输入与输出均是图像的处理;二是可以从图像中获取一些特征及识别特定目标的处理。其实,在很多时候我们存在一个误解:数字图象处理就是处理的就是可见光图片。在生活中,数字图象处理设计各行各业:比如伽马射线成像用于骨骼扫描,X射线成像进行胸透,紫外线的荧光显微镜方法,红外线成像,超声波成像用于B超,TEMSEM的使用啦!这些都是数字信号处理的对象。

    接着我们来说一下数字图像处理的step

    Step1:获取图像。这一步是通过物理设备获取图片,再用数字化器把物理设备感知的数据数字化。当然,获取图像的时候还会有一个问题就是图像存储。假如一幅图是1024*1024灰度是8bit,一张图那就是1M,要是视频的话那就是差不多1S/30帧,要是有个几万张图片这也是有点恐怖的。一般来说存储的话可以用:(1)用于处理时的短期存储,可以使用计算机内存,也可以使用专门的帧缓存的硬件;(2)在线存储,采用磁盘或者光介质存储;(3)档案存储,存在档案存储介质的地方,一般来说无需频繁访问。我在想要是可以使用云计算的话,这一块就只需要通过wifi把图片上传,使用服务器来处理图像,那么速度就会快很多了,不需要在本地处理。

    Step2:图像处理的各种方法。

    图像增强,图像复原:显示被模糊的细节是图像增强的本质,图像复原更加倾向于图像退化。这东西是非常主观的,而图像恢复是比较客观的。  举一个例子:图像增强有一个就是增强对比度,这样就可以按你的想法对图像增强大你需要的效果。而图像恢复比如反马赛克,去雾之类的处理更加客观,力求恢复图像原本面目。

    彩色图像处理:是以提取图像中感兴趣的特征为基础。比如现在比较火的图像搜索,目前为止还没有很成功的案例。在这里提一下,还有小波变换和多分辨率处理,小波是在各种分辨率下描述图片的基础。

    压缩:减少存储量,或者传输的时候降低频带。我们平时看到的如JPG文件扩展名用的就是JPEG(联合图片专家组)图像压缩标准。

    形态学处理:提取图像元素的工具,在表示与描述形状方面非常有用。

    图像分割:将一幅图分成组成部分和目标物。一般来说,自主分割是图像处理最为困难的一部分。能够写出健壮稳定的分割算法是一件令人兴奋的事情!

    表示与描述:这一步一般在分割步骤之后,把数据转换成容易用计算机处理的形式。而且这一步又称为特征选择,就是提取你想要的部分,是边缘或是内部。

    目标识别:基于目标的描述给目标赋予符号的过程。我更喜欢把这一步叫做模式匹配。很多时候应该使用库中的数据与之相匹配得出目标物体的属性。

        Step3:图像显示。在Step2中进行了需要的处理后就可以输出。图像处理不一定要经过Step2中所有的,这要看我们的需求。

    这样,我们对于数字图像处理有了一个感性的认识,我们就可以接下来进入正题了。

    展开全文
  • 1.1 图像与图像处理的概念 图像(Image): 使用各种观测系统以不同形式和手段观测客观世界而获得的,可以直接或间接...数字图像:为了能用计算机对图像进行加工,需要把连续图像在坐标空间和性质空间都离散化,这...
  • 拓展:MATLAB图像处理 (一)数字图像概念与描述    数字的图像描述:指如何利用一个数值方式来表示一个图像 图像的描述 图像是而二维分布分布的信息,可用矩阵来描述数字图像 描述数字图像的矩阵→...
  •  主要记载学习数字图像处理的基本知识,仅供参考。 目录 一、什么是图像处理? 二、图像的数字化表达 ... 数字图像处理就是利用数字计算机或者其他高速、大规模集成数字硬件,对从图像信息转换...
  • 1、数字图像: ...2、数字图像处理包括内容: 图像数字化;图像变换;图像增强;图像恢复;图像压缩编码;图像分割;图像分析与描述;图像的识别分类。 3、数字图像处理系统包括部分: 输入(采集);存储
  • 概念与方法 一幅图像可定义为一个二维函数f(x,y),其中x,y是空间坐标,而在任何一对空间坐标(x,y)处的...数字图像处理是借助于数字计算机来处理数字图像。 采样与量化:所谓的图像数字化,是指将模拟图像经过离散...
  • 模拟图像:连续图像,采用数字化(离散化)表示和数字技术处理之前的图像数字图像:由连续的模拟图像采样和量化而得的图像,组成其基本单位是像素。 像素的值代表图像在该位置的亮度或灰度,称为图像的灰度值。...
  • 复习着感觉记不住,于是乎,有了这篇博文,如果也同样选修了数字图像处理课程的小伙伴们可以参考一哈! 纯手码字…逢考必过! 概念 采样与量化 灰度变换缓慢的景物:粗采样、细量化 有大量细节变化的图像:...
  • 数字图像处理之前需要先进行图像数字化:图像数字化图像数字化是计算机处理图像之前的基本步骤,目的是把真实的图像转变成计算机能够接受的存储格式,数字化过程分为采样和量化两个步骤。 数字图像处理的框架大体...
  • 数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理最早出现于 20 世纪 50 年代,当时的电子计算机已经发展到一定水平,人们开始利用计算机来处理图形和图像信息。数字图像处理作为...
  • 在这个看脸的时代,颜值... 随着台式计算机的处理能力日益增强,各种图像拍摄的设备(例如平板电脑、手机摄像头、数码相机、扫描仪等)的普及,以及互联网的加持,使得数字图像处理变得与文字处理一样普及。本书就数字
  • 所谓数字图像处理,是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。20 世纪 50 年代,电子计算机已经发展到一定水平,人们开始利用计算机来处理图形和图像信息,这便是早期的图像处理。早期图像处理...
  • 数字图像处理

    2019-07-22 16:22:41
    具体而言,数字图像处理主要的内容包括:1,图像的数字化 2,图像变换 3,图像增强 4,图像分割 5,二值图像处理与分割 4,纹理分析 5,图像识别 图像数字化 图像数字化就是将一副图画转换成为计算机能够处理的过程...
  • 第一章 图像的概念: 1.什么是图像? 图 —— 物体投射或反射光的分布,是客观存在; 像 —— 人的视觉系统对图的接收在大脑中形成的印象或认识,是人的...数字图像处理的定义、特点 图像处理:对图像信息进行性加工(...