• 第一章 图像的概念: 1.什么是图像? 图 —— 物体投射或反射光的分布,是客观存在; 像 —— 人的视觉系统对图的接收在大脑中形成的印象或认识,是人的...数字图像处理的定义、特点 图像处理:对图像信息进行性加工(...

    第一章

    图像的概念:
    1.什么是图像?
    图 —— 物体投射或反射光的分布,是客观存在;
    像 —— 人的视觉系统对图的接收在大脑中形成的印象或认识,是人的感觉;
    数字图像的概念
    数字图像是图像的数字表示,像素是其最小单位。
    数字图像的描述有:

    1. 无彩色图像
    2. 彩色图像
      图像处理的研究目的
      目的:满足人的视觉、心理需要;实际应用或某种目的的要求
      数字图像处理的定义、特点
      图像处理:对图像信息进行性加工(处理)和分析
      特点:
      优:精度高、内容丰富、方法易变、灵活度高;
      缺:处理速度较慢。
      数字图像处理研究的主要内容及其特点
      包括图像数字化、图像变换、图像编码、图像增强、图像恢复、图像分割、图像分析与描述、图像的理解和识别。
      图像数字化:将非数字形式的图像信号通过数字化设备转换成数字图像,包括采样和量化。
      图像变换:对图像信息进行变换以便于在频域对图像进行更有效的处理。
      图像增强:增强图像中的有用信息,削弱干扰和噪声,提高图像的清晰度,突出图像中感兴趣的部分。主要技术有:直方图修正、图像平滑、图像锐化、同态系统、伪彩色技术
      图像压缩编码: 对待处理图像进行压缩编码以减少描 述图像的数据量,以便节省图像传输、处理时间、减少存储空间。
      图像复原:是寻找图像降质的起因,尽可能恢复图像本来面目。
      图像分割:根据选定的特征将图像划分成若干个有意义的部分,这些选定的特征包括图像的边缘、区域等。
      目的:提取出感兴趣的对象,为进一步的理解和识别做准备。
      主要方法:灰度阈值分割、基于纹理的分割、区域生长法
      图像分析与描述: 主要是对已经分割的或正在分割的图像各部分的属性及各部分之间的关系进行分析表述。
      图像识别分类:根据从图像中提取的各目标物的特征,与目标物固有的特征进行匹配、识别,以识别出目标物。
      图像工程相关概念
      包括图像处理、图像分析和图像理解三个层次。把这三个层次综合集成在一个整体框架上进行,这个框架就是图像工程。
      在这里插入图片描述
      数字图像处理系统的组成
      一个基本的数字图像处理系统由图像输入、图像输出、图像存储、图像通信、图像处理和分析五个模块组成。
      在这里插入图片描述
      图像的数学表示
      I=f(x,y,z,λ,t)
      (1)静止图像:I = f(x,y,z, λ)
      (2)灰度图像:I = f(x,y,z,t )
      (3)平面图像:I = f(x,y,λ,t)
      而对于平面上的静止灰度图像,其数学表达式可简化
      为:
      I = f(x,y)

    第二章

    人眼视觉特点
    ①总范围很宽( c=10^8 )
    ②人眼适应某一环境亮度后,范围限制
    适当平均亮度下:c=10^3
    很低亮度下: c = 10
    对比度概念
    C=Bmax/Bmin
    相对对比度:cr=(B-B0)/B0
    色度学基础
    各种表示颜色的方法,称做颜色模型。目前使用最多的是面向机器(如显示器、摄像机、打印机等)的RGB 模型和面向颜色处理(也面向人眼视觉)的 HIS/HSV模型。
    图像的数字化
    所谓的图像数字化,是指将模拟图像经过离散化之后,得到用数字表示的图像
    一幅图像必须要在空间灰度上都离散化才能被计算机处理。空间坐标的离散化叫做空间采样,而灰度的离散化叫做灰度量化图像的空间分辨率主要由采样所决定,而图像的幅度分辨率主要由量化所决定。
    采样和量化相关概念
    采样是指将在空间上连续的图像转换成离散的采样点(即像素)集的操作。位置上离散化为采样点,称为像素(pixel)
    量化是将各个像素所含的明暗信息离散化后,用数字来表示。一般的量化值为整数
    分辨率相关概念、特点
    图像分辨率:区分细节的程度;
    影响因素:采样点数( M,N)和灰度级数G。
    采样点数越多空间分辨率越高,G越多图像幅度分辨率越高
    数字图像类型、常见文件格式
    数字图像的特点:信息量大、占用频带宽、像素间相关性大、视觉效果的主观性大
    常见文件按格式:两种存储模式,一种点阵图又称位图模式,另一种是矢量图模式。BMP、TIFF、GIF、JPEG、PNG、WMF。视频文件格式:AVI、MOV、RM、MPEG、WMV
    领域相关概念
    4邻域——N4§
    在这里插入图片描述
    对角邻域——ND§
    在这里插入图片描述
    8邻域——N8§
    在这里插入图片描述

    第三章

    图像变换的目的、方法
    目的:方便处理、便于抽取特性
    方法:傅立叶变换、离散余弦变换、沃尔什-哈达玛变换
    频谱各部分意义
    Fourier变换后的图像,中间部分为低频部分,越靠外边频率越高。
    因此,我们可以在Fourier变换图中,选择所需要的高频或是低频滤波。

    第四章

    图像增强的目的、方法
    目的:目的是根据应用需要突出图像中的某些“有用”信息,削弱或去除不需要的信息,以达到扩大图像中不同物体特征之间的差别。
    主要技术有:直方图修正、图像平滑、图像锐化、同态系统、伪彩色技术
    在这里插入图片描述
    点运算的概念、特点
    所谓点运算是指像素值(像素点的灰度值)通过运算之后,可以改善图像的显示效果。这是一种像素的逐点运算。
    点运算与相邻的像素之间没有运算关系,是原始图像与目标图像之间的影射关系。又称为“对比度增强”、“对比度拉伸”、“灰度变换”
    点运算方法包括:灰度变换、直方图变换
    灰度变换
    在这里插入图片描述
    直方图均衡化概念、基本思想、步骤
    在这里插入图片描述
    例:设图象有64*64=4096个象素,有8个灰度级,灰度分布如表所示。进行直方图均衡化。
    在这里插入图片描述
    直方图规定化概念、基本思想、步骤
    修改一幅图像的直方图,使它与另一幅图像的直方图匹配或具有一种预先规定的函数形状
    在这里插入图片描述
    模板的概念、作用,模板卷积基本步骤
    在这里插入图片描述
    在这里插入图片描述
    图像平滑的目的、方法(空间域、频率域)
    邻域平均法(线性的)和中值滤波法(非线性的)
    噪声的类型、特点
    类型:
    设备元器件及材料本身引起的噪声
    系统内部设备电路所引起的噪声
    电器部件机械运动产生的噪声
    特点:
    叠加性
    分布和大小的不规则性
    噪声与图像之间具有相关性
    邻域平均法(均值滤波)基本思想、步骤
    与模板相乘求其平均值
    中值滤波法基本思想、步骤
    按从小到大的顺序排列取中间数值
    均值滤波和中值滤波的比较
    对大的边缘高度,中值滤波较邻域均值滤波好得多,而对于较小边缘高度,两种滤波只有很少差别。
    中值滤波是非线性的。
    中值滤波在抑制图像随机脉冲噪声方面甚为有效。且运算速度快,便于实时处理。
    中值滤波去除孤立线或点干扰,而保留空间清晰度较均值滤波为好;但对高斯噪声则不如均值滤波。
    前面使用的邻域平均法属于低通滤波的处理方法。它在抑制噪声的同时使图像变得模糊,即图像的细节(例如边缘信息)被削弱,如果既要抑制噪声又要保持细节可以使用中值滤波。
    低通滤波
    双线性插值具有低通滤波器的性质,使高频分量减弱,所以使图像的轮廓在一定程度上受损。

    1. 理想低通滤波器
    2. 巴特沃思低通滤波器
    3. 指数型低通滤波器
    4. 梯形低通滤波器
      在这里插入图片描述
      图像锐化的目的、方法(空间域、频率域)
      图像锐化的目的:是加强图像中景物的细节边缘和轮廓,锐化作用是使灰度反差增强,锐化算法的实现基于微分作用
      方法:图像的景物细节特征,一阶微分锐化方法、二阶微分锐化方法
      一阶锐化各方法的特点和区别
      单方向的一阶锐化是指对某个特定方向上的边缘信息进行增强。
      因为图像为水平、垂直两个方向组成,所以,所谓的单方向锐化实际上是包括水平方向与垂直方向上的锐化。
      在这里插入图片描述
      在这里插入图片描述
      这种锐化算法需要进行后处理,以解决像素值为负的问题。
      后处理的方法不同,则所得到的效果也就不同。
      后处理方法:
      整体加一个整数——》可以得到类似浮雕的效果
      取绝对值—————》可以获得对边缘的有方向提取
      无方向一阶锐化
      在这里插入图片描述
      在这里插入图片描述在这里插入图片描述
       Sobel算法与Priwitt算法的思路相同,属于同一类型,因此处理效果基本相同。
       Roberts算法的模板为2*2,提取出的信息较弱。
       单方向锐化经过后处理之后,也可以对边界进行增强。
      二阶锐化各方法的特点和区别
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      高通滤波
      图像轮廓是灰度陡然变化的部分,包含着丰富的空间高频成分。
      把高频分量相对突出,显然可使轮廓清晰。
      高频滤波器使高频分量相对突出,而低频分量和甚高频分量则相对抑制。
    5. 理想高通滤波器
    6. 巴特沃思高通滤波器
    7. 指数形高通滤波器
    8. 梯形高通滤波器
      两种颜色模型概念、特点
      假彩色增强:把真实的自然彩色图像或遥感多光谱图像处理成假彩色图像。
      伪彩色增强:把黑白图象处理成伪彩色图象。
      伪彩色处理的概念、分类
      伪彩色增强方法:
      灰度分层法
      伪彩色变换
      频域滤波
      图像几何变换概念、分类、方法
      图像的几何变换(Geometric Transformation)是指图像处理中对图像平移、旋转、放大和缩小,这些简单变换以及变换中灰度内插处理等
      几何变换不改变像素值,而可能改变像素所在的位置。
      空间变换(齐次坐标、图像的平移、图像的缩小、图像的放大、图像的镜像)、灰度插值(最邻近插值法、双线性插值、高阶插值)
      在这里插入图片描述
      在这里插入图片描述

    第五章

    图像复原的目的、常用方法
    目的:是寻找图像降质的起因,尽可能恢复图像本来面目。是当给定退化的图像g(x,y)及系统h(x,y)和噪声n(x,y)的某种了解或假设,估计出原始图像f(x,y)
    方法:代数复原法、逆滤波复原法、中值滤波复原法
    退化模型
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    图像退化的常见点扩展函数
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    第六章

    图像分割目的、方法
    图像分割的目的是把图像分成一些具有不同特征的有意义区域,将图像中有意义的特征或者应用所需要的特征信息提取出来,以便进一步分析和说明。
    基于阈值的图像分割方法
    基于边界的图像分割方法
    基于区域的图像分割方法
    图像分割算法:三类(阈值法、边缘检测、区域提取)
    常见分割算法的基本思想、步骤:阈值分割法、区域生长法、分裂合并法
    阈值化分割的基本原理就是利用图像中要提取的目标物与其背景在灰度特性上的差异,选取一个或多个处于图像灰度取值范围之中的灰度阈值,然后将图像中各个像素的灰度值与阈值进行比较,并根据比较的结果将图像中的像素分成不同等级,从而把图像分成互不交叉重叠的区域的集合,达到图像分割的目的。
    基于边界的图像分割方法就是根据图像不同区域边界的像素灰度值变化比较剧烈的情况,首先检测出图像中可能的边缘点,再按一定策略连接成轮廓,从而实现不同区域的图像分割
    区域生长也称为区域生成,其基本思想是将一幅图像分成许多小的区域,并将具有相似性质的像素集合起来构成区域。相似性准则可以是灰度级、彩色、组织、梯度或其他特性,相似性的测度可以由所确定的阈值来判定。从满足检测准则的点开始,在各个方向上生长区域,当其邻近点满足检测准则就并入小块区域中。当新的点被合并后再用新的区域重复这一过程,直到没有可接受的邻近点时生成过程终止。
    区域生长的主要步骤
    对图像进行逐行扫描,找出尚没有归属的像素;
    以该像素为中心检查它的邻域像素,即将邻域中的像素逐个与它比较,如果灰度值小于预先确定的阈值,将它们合并;
    以新合并的像素为中心,返回步骤2,检查新像素的邻域,直到区域不能进一步扩张;
    返回到步骤1,继续扫描到不能发现没有归属的像素,则结束整个生长过程
    图像阈值分割法可以认为是从上到下对图像进行分开,而区域生长法相当于从下往上不断对像素进行合并。将这两种方法结合起来对图像进行划分,便是分裂合并法。

    1. 四叉树
      基本思路:将图像任意分成若干子块,对每个子块的属性进行计算。
    2. 当属性表明该子块包含不同区域的像素,则该子块再分裂成若干子块。
    3. 如果几个子块的属性相似,则这几个相似属性的子块合并成一个大的区域。
      在这里插入图片描述

    第九章

    图像压缩编码目的、不同方法的特点
    是在满足一定图像质量条件下,用尽可能少的比特数来表示原始图像,
    以提高图像传输的效率和减少图像存储的容量。在信息论中称为信源编码。
    图像冗余
    对于一个图像,很多单个像素对视觉的贡献是冗余的。
    图像编码方法常用评价参数:熵H、平均码字长度R、编码效率n、压缩比,等
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    信息冗余度为:
    在这里插入图片描述
    每秒钟所需的传输比特数bps为:
    在这里插入图片描述
    压缩比r为:
    在这里插入图片描述
    图像编码算法
    在这里插入图片描述
    哈夫曼编码基本思想、步骤
    哈夫曼编码是一种利用信息符号概率分布特性的变字长的编码方法。对于出现概率大的信息符号编以短字长的码,对于出现概率小的信息符号编以长字长的码。
    在这里插入图片描述
    在这里插入图片描述
    算术编码基本思想、步骤
    算术编码方法是将被编码的信源消息表示成0~1之间的一个间隔,即小数区间,消息越长,编码表示它的间隔就越小;
    以小数表示间隔,表示的间隔越小所需的二进制位数就越多,码字就越长。反之,间隔越大,编码所需的二进制位数就少,码字就短。
    算术编码将被编码的图像数据看作是由多个符号组成的字符序列,对该序列递归地进行算术运算后,成为一个二进制分数;
    接收端解码过程也是算术运算,由二进制分数重建图像符号序列。
    在这里插入图片描述 在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    行程编码基本思想、步骤
    编码思想:去除像素冗余。
    用行程的灰度和行程的长度代替行程本身。
    例:设重复次数为 iC, 重复像素值为 iP
    编码为:iCiP iCiP iCiP
    编码前:aaaaaaabbbbbbcccccccc
    编码后:7a6b8c

    展开全文
  • 数字图像处理学习路线大体介绍 这里默认读者已经具备卷积,傅立叶变换等基础知识 图像增强 直方图增强 空域增强 频域增强 图像复原 退化模型 逆滤波 维纳滤波 图像色彩模型和彩色图像处理 彩色模型 彩色图像...

    数字图像处理学习路线大体介绍

    这是中国科学院大学人工智能学院的图像课大体重要内容

    图像增强

    1. 直方图增强
    2. 空域增强
    3. 频域增强

    图像去噪

    1. 空域去噪
    2. 频域去噪

    图像复原

    1. 退化模型
    2. 逆滤波
    3. 维纳滤波

    图像色彩模型和彩色图像处理

    1. 彩色模型
    2. 彩色图像处理

    图像压缩

    小波变换与小波去噪

    1. 小波变换基础知识
    2. 小波去噪
    3. BM3D算法等小波方面算法介绍

    形态学处理

    1. 膨胀腐蚀开闭
    2. 击中击不中
    3. 细化
    4. 骨架提取
    5. 裁剪

    图像切割

    卷积,傅立叶等理解难点

    1. 卷积
    2. 采样定理
    3. 傅立叶变换关键性质

    图像处理杂项

    1. 人类视觉系统
    2. 除傅里叶基以外的其他正交基
    3. 正交变换矩阵知识

    接下来后面会按照这个顺序依次介绍包含所有python实现,带你一步步喜欢上图像处理!!!如果觉得博主写的还行的老哥们请点个赞。
    下一篇:数字图像处理学习方法的一点建议
    下一篇:数字图像处理python实现-图像增强篇

    展开全文
  • 本文在撰写过程中参考了由何东健教授主编、西安电子科技大学出版社出版的《数字图像处理》(第三版),一切著作权归原书作者和出版社所有。特别感谢长安大学软件系老师的认真负责的教导。 第1章 概论 1.1 数字...

    本文在撰写过程中参考了由何东健教授主编、西安电子科技大学出版社出版的《数字图像处理》(第三版),一切著作权归原书作者和出版社所有。特别感谢长安大学软件系老师的认真负责的教导。

    第1章 概论

    1.1 数字图像处理及其特点

    1、数字图像与图像处理
    区分模拟图像与数字图像。
    数字图像处理:利用计算机对图像进行去噪、增强、复原、分割、特征提取、识别等的理论、方法和技术。
    2、数字图像处理的特点:
    处理精度高、易于控制处理效果、处理的多样性、图像数据量大、处理费时、综合性强

    1.2 图像处理的目的及主要内容

    1、数字图像处理的目的
    提高图像的视感质量、特征信息的提取、图像数据变换、编码和压缩
    2、数字图像处理的主要内容
    图像获取、表示和表现,复原,增强,分割,分析,重建、压缩编码

    1.3 数字图像处理的应用(略)

    第2章 数字图像处理基础

    2.1 图像数字化技术

    数字图像处理的先决条件:连续图像离散化。
    图像的数字化包括采样和量化两个过程。
    连续图像数字化的结果是图像矩阵,每一个元素称为像素、像元或图像元素。
    采样方法:正方形采样、三角形采样、正六角形采样
    1、采样
    采样:图像在空间上的离散化,即用采样点的灰度值代替图像。
    采样方法:先垂直采样,在水平采样。对于视频,先对时间采样,再沿垂直方向采样,最后沿水平方向采样。
    一维采样定理:若一维信号的g(t)的最大频率为ω,则采样周期小于等于1/(2ω),则能够根据采样频结果完全恢复图像。
    2、量化
    量化:把采样得到的各像素点的灰度值从模拟量到离散量的转换称为图像灰度的量化,转换前的灰度值称为连续灰度值,转换后的灰度值称为量化灰度值,量化灰度值与连续灰度值的差的绝对值称为量化误差。
    量化方法:等间隔量化(均匀量化、线性量化)、非等间隔量化。
    非等间隔量化是根据图像灰度值分布的概率密度函数,按总量化误差最小的原则来进行量化的。具体做法是“高概率细分,低概率粗分”。
    3、采样与量化参数的选择
    图像存储大小=采样数×量化灰度值位数(bit)
    低采样数导致马赛克,低量化级数导致假轮廓。
    采样原则:
    缓变——细量化、粗采样
    细节丰富——粗量化、细采样
    4、图像数字化设备
    组成:采样孔、图像扫描机构、光传感器、量化器、输出储存装置
    性能指标:像素大小、量化位数(颜色元数)、图像尺寸、线性度、噪声

    2.2 色度学基础与颜色模型

    1、色度学基础
    视杆细胞辨亮度,视锥细胞辨颜色,RGB光的三原色
    颜色属性:色调、饱和度、亮度
    2、颜色模型
    计算颜色模型:RGB、CIE XYZ、Lab
    视觉颜色模型:HSI、HSV、HSL
    工业颜色模型:CMYK、YUV、YCbCr
    (1)RGB模型
    在这里插入图片描述
    (2)CIE XYZ模型
    F=x•X+y•Y+z•Z, x=X/(X+Y+Z), y=Y/(X+Y+Z), z=Z/(X+Y+Z)
    (3)Lab颜色模型
    具有设备无关性,L表示亮度分量,a、b为色度分量,其中a正向绝对值越大表示越红,负向绝对值越大表示越绿;b正向绝对值越大表示越黄,负向绝对值越大表示越蓝。
    (4)HSI颜色模型
    色调H:反应颜色的种类(波长)
    饱和度S:表示颜色的深浅
    强度I:亮度/灰度
    (5)CMY与CMYK颜色模型
    (C,M,Y)=(1,1,1)-(R,G,B)
    在这里插入图片描述
    (6)YUV电视信号彩色坐标系统
    Y表示亮度信号,U、V表示色差
    (7)YCbCr模型
    由亮度Y,色差Cb、Cr组成,但充分考虑RGB分量在视觉感受中的不同重要性。
    3、颜色变换
    颜色变换模型:g(x, y) = T[ f(x, y) ]
    颜色变换关系:si = Ti [r1, r2, r3, … ,rn], i = 1, 2, … , n
    彩色切片:识别目标颜色分离出来

    2.3 数字图像类型

    矢量图:数学公式描绘图像,存储量小,图像清晰度与分辨率无关,缺点是单调且不真实
    位图:像素点阵表示图像,每个像素点具有颜色和位置属性,分为线画稿、灰度图像、索引颜色图像、真彩色图像
    1、位图
    线画稿:二值图像
    灰度图像:介于黑色与白色之间的多级灰度
    索引颜色:选择一些颜色,然后编号,用编号作为颜色的索引
    真彩色图像:RGB颜色
    2、位图有关术语
    像素:显示器显示图像的基本单位
    样点:将原图像网格化,用样点代替网格中所有点
    分辨率:单位长度像素数,按照像素的来源分为图像分辨率屏幕分辨率、打印机分辨率、扫描仪分辨率

    2.4 图像文件格式

    BMP图像文件格式:
    (1)四部分组成:位图文件头、位图信息头、调色板、图像数据
    (2)字节对齐,4byte整数倍
    (3)上下倒置存放
    其他文件格式略

    2.5 OpenCV编程简介

    OpenCV = Open Source Computer Vision Library
    1、OpenCV简介 不考
    2、OpenCV的安装与配置 不考
    3、OpenCV的数据结构 不太可能考
    二维点、三维点、Size_、Rect_、RotatedRect、Matx、Vec、Scalar_、Range、Mat
    4、读入、显示和存储图像

    #include <iostream>
    #include <opencv2/core/core.hpp>
    #include <opencv2/highgui/highgui.hpp>
    using namespace std;
    using namespace cv;
    int main(){
    	Mat image, result;
    	cout << "size: " << image.size().height() << " , " << image.size().width << endl;
    	image = imread("tiger.jpg");
    	if(!image.data){
    		cout << "read image file failed!" << endl;
    	}
    	namedWindow("Original Image");
    	imshow("Original Image", image);
    	flip(image, result,1);
    	namedWindow("Output Image");
    	imshow("Output Image", result);
    	imwrite("output.bmp", result);
    	waitKey(0);
    	return 0
    }
    

    5、操作图像像素
    (1)at方法

    void colorReduce(Mat& inputImage, Mat& outputImage, int div){
    	outputImage = inputImage.clone();
    	int rows = outputImage.rows;
    	int cols = outputImage.cols;
    	for(int i=0;i<rows;i++){
    		for(int j=0;j<cols;j++){
    			outputImage.at<Vec3b>(i,j)[0] = outputImage.at<Vec3b>(i,j)[0]/div*div+div/2;
    			outputImage.at<Vec3b>(i,j)[1] = outputImage.at<Vec3b>(i,j)[1]/div*div+div/2;
    			outputImage.at<Vec3b>(i,j)[2] = outputImage.at<Vec3b>(i,j)[2]/div*div+div/2;
    		}
    	}
    }
    

    (2)使用迭代器

    void colorReduce(Mat& inputImage, Mat& outputImage, int div){
    	outputImage = inputImage.clone();
    	Mat_<Vec3b>::iterator it = inputImage.begin<Vec3b>();
    	Mat_<Vec3b>::iterator it = inputImage.end<Vec3b>();
    	Mat_<Vec3b> cimage = outputImage;
    	Mat_<Vec3b>::iterator itout = cimage.begin();
    	Mat_<Vec3b>::iterator itoutend = cimage.end();
    	for(; it != itend; it++,itout++){
    		(*itout)[0]=(*it)[0]/div*div+div/2;
    		(*itout)[1]=(*it)[1]/div*div+div/2;
    		(*itout)[2]=(*it)[2]/div*div+div/2;
    	}
    }
    

    (3)使用指针

    void colorReduce(Mat& inputImage, Mat& outputImage, int div){
    	outputImage = inputImage.clone();
    	int rows = outputImage.rows;
    	int cols = outputImage.cols;
    	if(outputImage.isContinuous()){
    		cols = cols * rows;
    		rows = 1;
    	}
    	for(int i=0;i<rows;i++){
    		uchar * dataout = outputImage.ptr<uchar>(i);
    		for(int j=0;j<cols;j++){
    			dataout[j] = dataout[j]/div*div+div/2;
    		}
    	}
    }
    

    注意:OpenCV中的彩色图像不是以RGB顺序存放的,而是以BGR顺序存放的。
    4、整行整列像素值的赋值

    img.row(i).setTo(Scalar(255));
    img.col(i).setTo(Scalar(255));
    

    6、图形交互和媒体接口HighGui 不太可能考

    第3章 图像增强

    图像增强的目的:改善图像的视觉效果,或使图像更适合于人或机器的分析处理。减少图像噪声,提高目标与背景的对比度,强调或抑制图像中的某些细节。
    图像增强的方法:空域法、频域法,空域法又可以分为点处理和区处理,频域增强可以分为低通滤波、高通滤波、带通滤波、带阻滤波和同态滤波。

    3.1 灰度变换

    灰度变化模型:g(x, y) = T[ f(x, y) ]
    区处理:灰度变换操作在像素的邻域内进行,区处理一般基于模板卷积实现,因此又称为模板操作或空域滤波。
    常见的灰度变换方法:直接灰度变换法、直方图修正法。直接灰度变换法包括线性、分段线性以及非线性变换;直方图修正法可以分为直方图均衡化和直方图规定化。
    1、灰度线性变换
    在这里插入图片描述
    2、分段线性变换
    在这里插入图片描述
    3、非线性变换
    在这里插入图片描述
    在这里插入图片描述

    3.2 直方图修正

    1、直方图的基本概念
    灰度直方图是图像量化灰度值的频数分布直方图或频率分布直方图。
    2、直方图的性质
    (1)丢失位置信息,保留统计信息
    (2)图像与灰度直方图是一对多的关系
    (3)灰度直方图具有可加性
    3、直方图的计算
    (1)初始化:数组零值初始化
    (2)统计:将量化灰度值映射为数组下标,遍历图像将对应数组元素的值++
    (3)归一化:数组所有元素除以像素总数
    也可以像素值沿水平轴划分为若干子区间称为箱格,从而简化计算。
    4、直方图均衡化
    (1)基本思想:把原始图像的直方图变换为均匀分布的形式,从而增加图像灰度的动态范围,以达到增强图像对比度的效果。经过均衡化处理的图像,其灰度级出现的概率相同,此时图像的熵最大,图像包含的信息量最大。
    (2)推导
    s=T(r)s=T(r)
    s和r分别为灰度变换前后的灰度级,T(r)T(r)单调递增且有界[0,1]
    η=T(ξ)η=T(ξ),则有
    Fη(s)=P(η&lt;s)=P(ξ&lt;r)=rPr(x)dxF_{η}(s) = P(η&lt;s) = P(ξ&lt;r) = \int_{-\infty}^{r}P_{r}(x)dx
    对两边同时求导得
    ps(s)=[pr(r)drds]r=T1(s)p_{s}(s)=[p_{r}(r)•\frac{\mathrm{d} r}{\mathrm{d} s}]_{r=T^{-1}(s)}
    若要使变换后的图像灰度s为均匀分布,即有
    ps(s)=1p_s(s)=1
    代入上式有
    ds=pr(r)dr\mathrm{d} s=p_r(r)\mathrm{d}r
    两边同时积分有
    T(r)=s=0rpr(ω)dωT(r)=s=\int_0^rp_r(ω)\mathrm{d}ω
    其中0rpr(ω)dω\int_0^rp_r(ω)\mathrm{d}ω是r的累计分布函数。
    容易证明,以CDF为灰度变换函数,可得到灰度分布均匀的图像。
    (3)数字图像的直方图均衡化

    k rk nk pr=T(rk) sk=int[(L-1)sk+0.5] s rk->sk ps(sk)
    0 0 790 0.19 0.19 0.19→1 0→1 -
    1 1 1023 0.25 0.44 0.144→3 1→3 0.19
    2 2 850 0.21 0.65 0.65→5 2→5 -
    3 3 656 0.16 0.81 0.81→6 3→6 0.25
    4 4 329 0.08 0.89 0.89→6 4→6 -
    5 5 245 0.06 0.95 0.95→7 5→7 0.21
    6 6 122 0.03 0.98 0.98→7 6→7 0.24
    7 7 81 0.02 1 1→7 7→7 0.11

    简并:频数较低的灰度级被归并为一个新的灰度级上,使得变换过后的灰度级的数量减少了,这种现象称为简并。简并现象增大了灰度级的间隔,增加了图像对比度,可以看清更多的细节。
    理论上,直方图均衡化的结果应该是平坦的,但由于不能将同一灰度级的像素映射到不同的灰度级,因而实际结果只是近似均衡。
    5、直方图规定化
    直方图规定化:实际应用中希望将直方图变换为某个特定的形状,从而有选择地增强某个灰度范围内的对比度,这种方法就称为直方图规定化。
    直方图规定化的步骤:
    第一步,对原始直方图进行均衡化,得到映射关系1;
    第二步,对规定直方图进行均衡化,得到映射关系2;
    第三步,按照单映射规则或组映射规则,根据映射关系1和映射关系2得到最终的映射关系。

    rk,zl pr(rk) pz(zl) sk=T(rk) vl=G(zl) 单映射rk→zl 单映射ps(sk) 组映射rk→zl 组映射ps(sk)
    0 0.19 - 0.19 - r0→r3 0 r0→r3 0
    1 0.25 - 0.44 - r1→r3 0 r1→r5 0
    2 0.21 - 0.65 - r2→r5 0 r2→r5 0
    3 0.16 0.2 0.81 0.2 r3→r5 0.44 r3→r7 0.19
    4 0.08 - 0.89 - r4→r7 0 r4→r7 0
    5 0.06 0.5 0.95 0.7 r5→r7 0.37 r5→r7 0.46
    6 0.03 - 0.98 - r6→r7 0 r6→r7 0
    7 0.02 0.3 1 1 r7→r7 0.19 r7→r7 0.35

    单映射:对于每一个sk找距离它最近的vl
    组映射:对于每一个vl找距离它最近的sk,作为分组依据(分界值归到左侧区间),再进行组映射。

    3.3 图像平滑

    目的:消噪或模糊图像,去除小的细节或弥合目标间的缝隙。
    低频代表信号缓慢变化的部分,高频代表迅速变化的部分;图像边缘、跳跃以及噪声等灰度变化剧烈的部分代表图像的高频分量,灰度变化缓慢的部分代表图像的低频分量。
    1、图像噪声
    (1)噪声分类
    外部噪声和内部噪声
    平稳噪声和非平稳噪声
    高斯噪声和椒盐噪声
    白噪声和粉红噪声(1/f噪声)
    加性噪声和乘性噪声
    (2)特点
    随机性、图像相关性、叠加性
    2、模板卷积
    模板操作的种类:卷积、相关
    功能:图像平滑、锐化、边缘检测
    线性滤波,其输出像素是输入邻域像素的加权核。
    卷积和相关运算的主要区别在于卷积运算需要将模板绕模板中心旋转180°,因其余运算过程一致而统称为模板卷积。模板卷积中的模板称为卷积核,其元素称为卷积系数、模板系数或加权系数,其大小和排列顺序决定了对图像邻域处理的类型。
    模板卷积的运算过程:移动模板、对应相乘再相加、赋值
    3、邻域平均
    Box模板:
    19[111111111] \frac{1}{9}\begin{bmatrix} 1 &amp; 1 &amp; 1 \\ 1 &amp; 1* &amp; 1 \\ 1 &amp; 1 &amp; 1 \end{bmatrix}
    高斯模板:
    116[121242121] \frac{1}{16}\begin{bmatrix} 1 &amp; 2 &amp; 1 \\ 2 &amp; 4* &amp; 2 \\ 1 &amp; 2 &amp; 1 \end{bmatrix}
    领域平均法的主要优点是算法简单,缺点是降噪时会模糊图像,尤其是在边缘和细节处,尺寸越大模糊程度越大。适合处理高斯噪声,不适合处理椒盐噪声。
    4、中值滤波
    非线性滤波,滤除噪声的同时很好地保持图像边缘。
    基本原理:窗口内元素灰度值求中位数并赋给中心元素
    统计排序滤波器:模板内元素排序,选取某个值作为中心元素的值。中值滤波是统计排序滤波器的一种。最值滤波器用于检测亮点或暗点。
    中值滤波的性质:
    (1)不影响阶跃信号、斜坡信号、连续个数少于窗口长度一半的脉冲受到抑制,三角函数顶部变平。
    (2)中值滤波的输出与输入噪声的密度分布有关
    (3)中值滤波频谱特性起伏不大,可以认为中值滤波之后,信号频谱基本不变
    中值滤波窗口形状和尺寸决定了滤波效果,就一般经验而言,对于有缓变的较长轮廓线物体的图像,采用方形或圆形窗口为宜;对于包含有尖顶角物体的图像,用十字形窗口。窗口大小不宜超过图像中最小有效物体的尺寸。如果图像中包含的点、线、尖角较多,则不宜采用中值滤波。
    复合型中值滤波器:中值滤波的线性组合、高阶中值滤波组合、加权中值滤波、迭代中值滤波
    5、图像平均
    基本原理:同一景物的多幅图像取平均值来消噪。
    缺点:难以操作

    3.4 图像锐化

    目的:使模糊的图像变清晰,增强图像的边缘等细节,但同时也会增强噪声,一般先做消噪处理。
    图像锐化的方法:空域法、频域法
    1、微分法
    微分运算通常通过一阶向前差分运算或二阶中心差分来实现。
    (1)梯度算子
    梯度算子的定义
    f(x,y)=[fxfy]T \mathrm{▽}\mathbf{f}(x,y)=\begin{bmatrix}\frac{\partial f}{\partial x} &amp; \frac{\partial f}{\partial y}\end{bmatrix}^T
    梯度幅度
    f(x,y)=f(x,y)=(Gx2+Gy2)12 \mathrm{▽} f(x,y)=|\mathrm{▽}\mathbf{f}(x,y)|=(G_x^2+G_y^2)^{\frac 1 2}
    梯度方向角
    φ(x,y)=arctan(GyGx) φ(x,y)=arctan(\frac {G_y} {G_x})
    水平梯度差分法
    f(x,y)f(x+1,y)f(x,y)+f(x,y+1)f(x,y) \mathrm{▽} f(x,y) \approx |f(x+1,y)-f(x,y)|+|f(x,y+1)-f(x,y)|
    Robert交叉算子
    f(x,y)f(x+1,y+1)f(x,y)+f(x,y+1)f(x+1,y) \mathrm{▽} f(x,y) \approx |f(x+1,y+1)-f(x,y)|+|f(x,y+1)-f(x+1,y)|
    中心差分算子
    {Gx=f(x+1,y)f(x1,y)2Gy=f(x,y+1)f(x,y1)2 \left \{\begin{matrix} G_x=\frac{f(x+1,y)-f(x-1,y)}{2} \\ \\ G_y=\frac{f(x,y+1)-f(x,y-1)}{2} \end{matrix}\right.
    常见的梯度算子:

    算子名称 模板H1 模板H2 特点
    Roberts [0110]\begin{bmatrix}0* &amp; -1 \\ 1 &amp; 0\end{bmatrix} [1001]\begin{bmatrix}-1* &amp; 0 \\ 0 &amp; 1\end{bmatrix} 各向同性;对噪声敏感;模板尺寸为偶数,中心位置不明显
    Prewitt [101101101]\begin{bmatrix}-1 &amp; 0 &amp; 1 \\ -1 &amp; 0* &amp; 1 \\ -1 &amp; 0 &amp; 1 \end{bmatrix} [111000111]\begin{bmatrix}-1 &amp; -1 &amp; -1 \\ 0 &amp; 0* &amp; 0 \\ 1 &amp; 1 &amp; 1\end{bmatrix} 引入了平均因素,对噪声有抑制作用;操作简便
    Sobel [101202101]\begin{bmatrix}-1 &amp; 0 &amp; 1 \\ -2 &amp; 0* &amp; 2 \\ -1 &amp; 0 &amp; 1 \end{bmatrix} [121000121]\begin{bmatrix}-1 &amp; -2 &amp; -1 \\ 0 &amp; 0* &amp; 0 \\ 1 &amp; 2 &amp; 1\end{bmatrix} 引入了平均因素,增强了最近像素的影响,噪声抑制效果比Prewitt要好
    Krisch [335305335]\begin{bmatrix}-3 &amp; -3 &amp; 5 \\ -3 &amp; 0* &amp; 5 \\ -3 &amp; -3 &amp; 5 \end{bmatrix} [333303555]\begin{bmatrix}-3 &amp; -3 &amp; -3 \\ -3 &amp; 0* &amp; -3 \\ 5 &amp; 5 &amp; 5\end{bmatrix} 噪声抑制效果要好;需求出8个方向的响应(这里只给出两个方向的模板)
    Isotropic Sobel [101202101]\begin{bmatrix}-1 &amp; 0 &amp; 1 \\ -\sqrt 2 &amp; 0* &amp; \sqrt 2 \\ -1 &amp; 0 &amp; 1 \end{bmatrix} [121000121]\begin{bmatrix}-1 &amp; -\sqrt 2 &amp; -1 \\ 0 &amp; 0* &amp; 0 \\ 1 &amp; \sqrt 2 &amp; 1\end{bmatrix} 权值反比于邻点与中心点的距离,检沿不同方向边缘时梯度幅度一致,即具有各向同性

    (2)拉普拉斯算子
    拉普拉斯算子:
    Δf=2f=2f2x+2f2y \Delta f=\nabla ^2f=\frac{\partial ^2f}{\partial ^2x}+\frac{\partial ^2f}{\partial ^2y}
    差分表示:
    2ff(x+1,y)+f(x1,y)+f(x,y+1)+f(x,y1)4f(x,y) \nabla ^2f \approx f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)
    常用拉普拉斯模板:
    [010141010][111181111][121242121] \begin{bmatrix} 0 &amp; -1 &amp; 0 \\ -1 &amp; 4* &amp; -1 \\ 0 &amp; -1 &amp; 0 \end{bmatrix} \begin{bmatrix} -1 &amp; -1 &amp; -1 \\ -1 &amp; 8* &amp; -1 \\ -1 &amp; -1 &amp; -1 \end{bmatrix} \begin{bmatrix} 1 &amp; -2 &amp; 1 \\ -2 &amp; 4* &amp; -2 \\ 1 &amp; -2 &amp; 1 \end{bmatrix}
    平滑模板和微分模板的对比:
    (1)微分模板的权系数之和为0,使得灰度平坦区的响应为0。平滑模板的权系数都为正,和为1,这使得灰度平坦区的输出与输入相同。
    (2)一阶微分模板在对比度较大的点产生较高的响应,二阶微分模板在对比度大的点产生零交叉。一阶微分一般产生更粗的边缘,二阶微分则产生更细的边缘。相对一阶微分而言,二阶微分对细线、孤立的点等小细节有更强的响应。
    (3)平滑模板的平滑或去噪程度与模板的大小成正比,跳变边缘的模糊程度与模板的大小成正比。
    2、非锐化滤波
    非锐化滤波:从原始图像中减去原始图像的一个非锐化的或者说是平滑的图像,从而达到增强边缘等细节的目的,用公式表示为:
    g(x,y)=f(x,y)fs(x,y) g(x,y)=f(x,y)-f_s(x,y)
    式中f表示输入图像,fs表示由输入图像得到的平滑图像,g为输出图像。
    图像平滑的实质是一种低通滤波,从原始图像中减去平滑图像就相当于除去低频成分保留了高频成分。
    3、高频增强滤波
    高频增强滤波:如果原始图像与高通图像相加,则可以在保持原始图像概貌的同时突出边缘等细节。将原始图像乘以一个比例系数A,高通图像也乘以一个比例系数K,两者相加得到一个增强图像,称该过程为高频增强滤波。
    fhb(x,y)=Af(x,y)+Kg(x,y) f_{hb}(x,y)=Af(x,y)+Kg(x,y)
    fhb(x,y)f_{hb}(x,y)表示输出图像,g(x,y)g(x,y)f(x,y)f(x,y)的一个高通图像,A>=0,0<=K<=1。K在0.2~0.7之间取值时,高频增强滤波的效果最好;A足够大时,图像锐化作用削弱,输出图像接近原始图像整数倍;特别地,当A=1,K=1时为常用的拉普拉斯高频增强模板。
    常见的拉普拉斯高频增强模板:
    [010151010][111191111][121252121] \begin{bmatrix} 0 &amp; -1 &amp; 0 \\ -1 &amp; 5* &amp; -1 \\ 0 &amp; -1 &amp; 0 \end{bmatrix} \begin{bmatrix} -1 &amp; -1 &amp; -1 \\ -1 &amp; 9* &amp; -1 \\ -1 &amp; -1 &amp; -1 \end{bmatrix} \begin{bmatrix} 1 &amp; -2 &amp; 1 \\ -2 &amp; 5* &amp; -2 \\ 1 &amp; -2 &amp; 1 \end{bmatrix}

    3.5 伪彩色处理

    原理:不同灰度级赋予不同彩色。
    1、灰度分层法:类似于等高线、卫星云图、天气预报图等
    2、灰度变换法:红外热成像仪等
    3、频域滤波法:在频率域进行伪彩色处理

    3.6 同态滤波

    同态滤波:在压缩动态范围的同时增强图像对比度,既增强暗区的图像细节又不损失亮区的图像细节。同态滤波用于消除图像中的非均匀光照,对乘性噪声的滤波效果也比较好。
    通常认为,像素的灰度值为光照的入射分量与物体的反射分量的乘积决定。
    f(x,y)=i(x,y)r(x,y) f(x,y)=i(x,y)r(x,y)
    入射分量描述景物的照明,与景物无关,在空间均匀或缓慢变化,频谱特性集中在低频部分。由于景物具有较多细节内容,因而反射分量随空间变化较大,其频谱特性主要集中在高频部分。通过消除场景关照的不均匀性可以增强图像细节。
    对上式两边取对数
    lnf(x,y)=lni(x,y)+lnr(x,y) \mathrm{ln}f(x,y)=\mathrm{ln}i(x,y)+\mathrm{ln}r(x,y)
    两边做傅里叶变换,得
    Ff(u,v)=Fi(u,v)+Fr(u,v) F_f(u,v)=F_i(u,v)+F_r(u,v)
    高斯高通同态滤波器:
    H(u,v)=(γHγL)[1ecD2(u,v)D02]+γL H(u,v)=(\gamma _H-\gamma _L)[1- e^{-c\frac{D^2(u,v)}{D_0^2}}]+\gamma _L
    γH\gamma _HγL\gamma _L用于控制滤波强度,c用于控制滤波器斜面的锐化程度,D2(u,v)D^2(u,v)为频谱上点(u,v)到频谱中心的距离,D02D_0^2为截止半径。
    同态滤波结果:
    g(x,y)=exp{F1[Ff(u,v)H(u,v)]} g(x,y)=exp\{F^{-1}[F_f(u,v)H(u,v)]\}

    第4章 图像的几何变换

    4.1 几何变换基础

    1、概述
    2、齐次坐标
    标准化齐次坐标是几何变换的基础。
    3、二维图像几何变换矩阵
    P=TP0P0=[x1x2...xny1y2...yn11...1]P=[Hx1Hx2...HxnHy1Hy2...HynHH...H]T=[abpcdq001] P=TP_0 \\ P_0=\begin{bmatrix}x_1 &amp; x_2 &amp; ... &amp; x_n \\ y_1 &amp; y_2 &amp; ... &amp; y_n \\ 1 &amp; 1 &amp; ... &amp; 1\end{bmatrix} \\ \\ P_=\begin{bmatrix}Hx_1&#x27; &amp; Hx_2&#x27; &amp; ... &amp; Hx_n&#x27; \\ Hy_1&#x27; &amp; Hy_2&#x27; &amp; ... &amp; Hy_n&#x27; \\ H &amp; H &amp; ... &amp; H\end{bmatrix} \\ T=\begin{bmatrix}a &amp; b &amp; p \\ c &amp; d &amp; q \\ 0 &amp; 0 &amp; 1\end{bmatrix}

    4.2 图像比例缩放

    1、图像比例放缩变换
    全比例放缩:x轴方向和y轴方向缩放比例相同
    几何畸变:x轴方向和y轴方向缩放比例不相同,会改变像素间的相对位置,产生几何畸变
    插值处理:比例缩放可能导致出现空穴,必须进行插值。插值方法有最邻近插值法和插值算法(如双线性内插值法)
    (1)图像的比例缩小
    I(x,y)=F(int(cx),int(cy)),c=1k I(x,y)=F(int(cx),int(cy)), c=\frac 1 k
    (2)图像的非比例缩小
    I(x,y)=F(int(c1x),int(c2y)),c1=1k1,c2=1k2 I(x,y)=F(int(c_1x),int(c_2y)), c_1=\frac 1 {k_1}, c_2=\frac 1 {k_2}
    (3)图像的比例放大
    最邻近插值法:原图像对应元素如果不存在就取邻近的元素。
    线性插值法:
    g(x,y)=(1q)[(1p)f([x],[y]+1)+pf([x]+1,[y])]+q[(1p)f([x],[y]+1)+pf([x]+1,[y]+1)] g(x,y)=(1-q)[(1-p)f([x],[y]+1)+pf([x]+1,[y])]+q[(1-p)f([x],[y]+1)+pf([x]+1,[y]+1)]
    在这里插入图片描述
    2、比例缩放的实现 (略)

    4.3 图像平移

    没啥说的

    4.4 图像镜像

    没啥说的

    4.5 图像旋转

    1、图像的旋转变换
    变换矩阵没啥说的
    插值方法:行插值、列插值、双线性插值
    2、图像旋转的实现(略)

    4.6 图像复合变换

    复合平移、复合比例、复合旋转、图像转置、任意点比例缩放、任意点旋转
    插值方法:
    在这里插入图片描述
    插值算法:双线性插值、最邻近插值

    4.7 透视变换

    1、透视变换
    投影变换:把空间坐标系中的三维物体或对象转变为二维图像表示的过程称为投影变换。根据视点和投影平面之间的距离的不同,投影可分为平行投影(距离∞)和透视投影(有限距离)。
    平行投影:投影线互相平行的投影称为平行投影,分为正投影和斜投影。正投影要求投影线垂直于投影面,分为正交投影和正轴测投影,正交投影要求坐标轴必须正交,正轴测投影要求坐标轴夹角都相等即为120°,根据坐标轴单位长度是否都相等分为正等轴测图、正二轴测图、正三轴测图。斜投影不要求投影线与投影面垂直,根据坐标轴单位长度是否相等分为斜等测投影和斜二测投影。
    透视投影:投影线不相互平行的投影,根据灭点的数量分为一点透视、两点透视和三点透视。
    2、其他变换
    几何畸变:成像与目标之间不相似的情况称为几何畸变。
    (1)非矩形像素坐标的转换
    极坐标、柱坐标、球坐标→笛卡尔坐标系
    (2)图像错切
    平面景物在投影平面上的非垂直投影。
    水平错切、垂直错切
    (3)图像卷绕
    通过指定一系列控制点的位移来定义空间变换的图像变形的处理技术,非控制点的位移则通过控制点进行插值。

    4.8 几何畸变的矫正

    在这里插入图片描述
    几何畸变两个关键步骤:图像空间像素坐标的几何变换——空间变换;变换后的标准图像空间的各像素灰度值的计算——灰度值计算。
    校正函数的建立步骤:
    (1)利用控制点对图像数据建立一个模拟几何畸变的数学模型,以建立畸变图像空间与标准空间的对应关系
    (2)用这种对应关系把畸变空间中的全部元素变换到标准空间中去。
    重采样的方法:
    (1)直接成图法
    畸变图像元素→标准图像空间正确的位置
    (x,y)=f(u,v)(x,y)=\boldsymbol f(u,v)
    (2)间接成图法(重采样成图法)
    标准图像空间某个位置→对应畸变图像位置
    (u,v)=f1(x,y)(u,v)=\boldsymbol f^{-1}(x,y)
    两种方法的区别:校正函数不同,直接成图法通过亮度重配置获得亮度值,间接成图法通过亮度重采样获得亮度值。
    多项式校正法:将几何畸变看成各种类型仿射变换复合作用的结果。
    {u=gu(x,y)=i=0nj=0niaijxiyjv=gv(x,y)=i=0nj=0nibijxiyj \left \{ \begin{matrix} u=g_u(x,y)=\sum_{i=0}^{n}\sum_{j=0}^{n-i}a_{ij}x^iy^j \\ \\ v=g_v(x,y)=\sum_{i=0}^{n}\sum_{j=0}^{n-i}b_{ij}x^iy^j \end{matrix} \right.
    拟合误差平方和:
    {εu=k=1K(uki=0nj=0niaijxkiykj)2εv=k=1K(vki=0nj=0nibijxkiykj)2 \left \{ \begin{matrix} \varepsilon_u=\sum_{k=1}^K(u_k-\sum_{i=0}^{n}\sum_{j=0}^{n-i}a_{ij}x_k^iy_k^j)^2 \\ \\ \varepsilon_v=\sum_{k=1}^K(v_k-\sum_{i=0}^{n}\sum_{j=0}^{n-i}b_{ij}x_k^iy_k^j)^2 \end{matrix} \right.
    使用最小二乘法计算系数时,控制点的数目不能小于n。

    第5章 频域处理

    数字图像处理的两类方法:空域法、频域法
    频域法:把图像信号从空域转换为频域进行图像分析
    频域处理的应用:图像特征的提取、图像压缩编码、减小计算维数

    5.1 频域与频域变换

    频域变换的理论基础:任意波形都可以表示为一系列正弦波的加和
    幅频特性——振幅与频率之间的关系
    相频特性——初相与频率之间的关系
    时域和频域的变换:
    f(x)A(ω),Φ(ω)F(ω)f(x)\begin{matrix}正变换 \\ \Leftrightarrow \\ 逆变换\end{matrix}A(\omega),\Phi(\omega) \rightarrow F(\omega)
    5.2 傅里叶变换
    1、连续函数的傅里叶变换
    关键词:狄利克雷条件、二维傅里叶变换
    2、离散傅里叶变换
    定义:
    F[f(x)]=F(u)=x=0N1f(x)ej2πuxNF1[F(u)]=f(x)=1Nu=0N1F(u)ej2πuxNF[f(x)]=F(u)=x=0N1f(x)[cos(2πNux)jsin(2πNux)]F1[F(u)]=f(x)=1Nu=0N1F(u)[cos(2πNux)+jsin(2πNux)] \mathscr{F}[f(x)]=F(u)=\sum_{x=0}^{N-1}f(x)e^{-j\frac {2\pi ux}{N}} \\ \mathscr{F}^{-1}[F(u)]=f(x)=\frac 1 N \sum_{u=0}^{N-1}F(u)e^{j\frac {2\pi ux}{N}} \\ \mathscr{F}[f(x)]=F(u)=\sum_{x=0}^{N-1}f(x)[cos(\frac {2\pi} Nux)-j\cdot sin(\frac {2\pi} Nux)] \\ \mathscr{F}^{-1}[F(u)]=f(x)=\frac 1 N \sum_{u=0}^{N-1}F(u)[cos(\frac {2\pi} Nux)+j\cdot sin(\frac {2\pi} Nux)] \\
    离散傅里叶变换的结果仍然是一个离散的序列,对每一个u对应的傅里叶变换结是所有输入序列f(x)的加权和,u决定了每个傅里叶变换结果的频率
    如果F(u)可以表示为F(u)=R(u)+jI(u)F(u)=R(u)+jI(u),且R(u)和I(u)是实函数,则称F(u)=R2(u)+I2(u)|F(u)|=\sqrt {R^2(u)+I^2(u)}为f(x)的频谱,φ(u)=arctan(I(u)R(u))\varphi(u)=arctan(\frac {I(u)}{R(u)})为f(x)的相位谱。频谱的平方称为能量谱。
    二维离散傅里叶变换:
    F[f(x,y)]=F(u,v)=x=0M1y=0N1f(x,y)ej2π(uxM+vyN)F1[f(x,y)]=F(u,v)=1MNu=0M1v=0N1F(u,v)ej2π(uxM+vyN) \mathscr{F}[f(x,y)]=F(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)e^{-j2\pi (\frac {ux} M+\frac {vy} N)} \\ \mathscr{F}^{-1}[f(x,y)]=F(u,v)=\frac 1 {MN}\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F(u,v)e^{j2\pi (\frac {ux} M+\frac {vy} N)}
    3、离散傅里叶变换的性质
    在这里插入图片描述
    在这里插入图片描述
    4、离散傅里叶变换的openCV 不考

    5.3 频域变换的一般表达式

    1、可分离变换
    二维傅里叶变换通用表达式:
    F(u,v)=x=0M1y=0N1f(x,y)g(x,y,u,v)f(x,y)=u=0M1v=0N1F(u,v)h(x,y,u,v) F(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)\cdot g(x,y,u,v) \\ f(x,y)=\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F(u,v)\cdot h(x,y,u,v)
    其中g和h分别被称为正向变换核与负向变换核。
    可分离的:
    如果
    g(x,y,u,v)=g1(x,u)g2(y,v)h(x,y,u,v)=h1(x,u)h2(y,v) g(x,y,u,v)=g_1(x,u)\cdot g_2(y,v) \\ h(x,y,u,v)=h_1(x,u)\cdot h_2(y,v)
    则称正反变换核是可分离的。进一步地,如果g1和g2,h1和h2在函数形式上一致,则称该变换核是对称的。
    2、图像变换的矩阵表示
    F=PfQf=P1FQ1P(u,x)=g1(x,u)=ej2πuxMQ(y,v)=g2(y,v)=ej2πvyN \boldsymbol {F=PfQ} \\ \boldsymbol {f=P^{-1}FQ^{-1}} \\ P(u,x)=g_1(x,u)=e^{-j\frac {2\pi ux} M} \\ Q(y,v)=g_2(y,v)=e^{-j\frac {2\pi vy} N}

    5.4 离散余弦变换(DCT)

    1、一维离散余弦变换
    DCT变换核定义:
    g(x,u)=C(u)2Ncos(2x+1)uπ2NC(u)={12,u=01,else \begin{matrix} g(x,u)=C(u)\sqrt {\frac 2 N cos \frac {(2x+1)u\pi} {2N}} \\ \\ C(u)=\left \{ \begin{matrix} \frac 1 {\sqrt 2}, u=0 \\ \\ 1,else\end{matrix}\right. \end{matrix}
    一维DCT定义:
    F(u)=x=0N1f(x)g(x,u)F=Gf(G(u,x)=g(x,u) F(u)=\sum_{x=0}^{N-1}f(x)g(x,u) \\ \boldsymbol {F=Gf}(矩阵形式,G(u,x)=g(x,u))
    在这里插入图片描述
    DCT逆变换IDCT:
    h(x,u)=g(x,u)=C(u)2Ncos(2x+1)uπ2Nf(x)=u=0N1F(u)h(x,u) h(x,u)=g(x,u)=C(u)\sqrt {\frac 2 N cos \frac {(2x+1)u\pi} {2N}} \\ f(x)=\sum_{u=0}^{N-1}F(u)h(x,u)
    2、二维离散余弦变换
    2D-DCT:
    g1(x,u)=2MC(u)cos(2x+1)uπ2Mg2(y,v)=2NC(v)cos(2x+1)vπ2Ng(x,y,u,v)=g1(x,u)g2(y,v)F(u,v)=x=0M1y=0N1f(x,y)g(x,y,u,v) g_1(x,u)= \sqrt {\frac 2 M} C(u) cos \frac {(2x+1)u\pi} {2M} \\ g_2(y,v)= \sqrt {\frac 2 N} C(v) cos \frac {(2x+1)v\pi} {2N} \\ g(x,y,u,v)=g_1(x,u)g_2(y,v) \\ F(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)g(x,y,u,v)
    2D-IDCT:
    h1(x,u)=g1(x,u)h2(y,v)=g2(y,v)h(x,y,u,v)=h1(x,u)h2(y,v)f(x,y)u=0M1v=0N1F(u,v)h(x,y,u,v) h_1(x,u)=g_1(x,u) \\ h_2(y,v)=g_2(y,v) \\ h(x,y,u,v)=h_1(x,u)\cdot h_2(y,v) \\ f(x,y)\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F(u,v)h(x,y,u,v)

    5.5 频域中图像处理的实现

    1、理解数字图像的频谱图
    数字图像平移后的频谱中,图像的能量将集中到频谱中心(低频成分),细节信息分散在图像频谱的边缘。频谱中的低频成分代表了图像的概貌,高频成分代表了图像中的细节。
    2、频域图像处理步骤
    在这里插入图片描述
    3、频域滤波
    低通滤波器、高通滤波器、带通滤波器、带阻滤波器
    高通巴特沃斯滤波器:H(u,v)=11+[D0D(u,v)]2nH(u,v)=\frac 1 {1+[\frac {D_0} {D(u,v)}]^{2n}}
    低通巴特沃斯滤波器:H(u,v)=11+[D(u,v)D0]2nH(u,v)=\frac 1 {1+[\frac {D(u,v)} {D_0}]^{2n}}

    5.6 小波变换简介(暂略)

    第6章 数学形态学处理

    数学形态学四种基本运算:腐蚀、膨胀、开运算、闭运算

    6.1 引言

    1、数学形态学
    数学形态学的基本思想:用具有一定形态的结构元素去量度和提取图像中的对应形状,已以达到图像分析和识别的目的。
    2、基本符号和术语
    元素和集合、交并补差、平移反射、目标图像与结构元素
    击中与击不中:交集为空击不中,交集不为空击中

    6.2 二值形态学

    1、腐蚀
    XS={xXS+xX}X\ominus S=\{x\in X |S+x\subseteq X\}
    理解:把结构体元素放在目标图像中移动,则结构体元素的原点的集合构成腐蚀的结果。
    2、膨胀
    XS={X+ssS}={S+xxX}={x(Sv+x)X}X\oplus S=\bigcup\{X+s|s\in S\}=\bigcup\{S+x|x\in X\}=\{x|(S^v+x) \cap X\neq \varnothing\}
    理解:第二种定义比较好理解,即吧结构体元素原点放在目标图像中移动,所有结构体元素的并。
    运算律:
    X(YZ)=(XY)(XZ)X(YZ)=(XY)(XZ)(XY)Z(XZ)(YZ)(XY)Z=(XZ)(YZ)(XY)Z=(XZ)(YZ)(XY)Z(XZ)(YZ) X\ominus(Y\cap Z)=(X\ominus Y)\cap(X\ominus Z) \\ X\oplus(Y\cap Z)=(X\oplus Y)\cap(X\oplus Z) \\ (X\cap Y)\ominus Z\supset(X\ominus Z)\cap (Y\ominus Z) \\ (X\cap Y)\oplus Z=(X\oplus Z)\cap (Y\oplus Z) \\ (X\cup Y)\ominus Z=(X\ominus Z)\cup (Y\ominus Z) \\ (X\cup Y)\oplus Z\subseteq(X\oplus Z)\cup (Y\oplus Z)
    3、开闭运算
    开运算:XS=(XS)SX○S=(X\ominus S)\oplus S
    闭运算:XS=(XS)SX\cdot S=(X\oplus S)\ominus S
    开闭运算的代数性质:
    (1)对偶性:(XCS)C=XS;(XCS)=XS(X^C○S)^C=X\cdot S; (X^C\cdot S)=X○S
    (2)扩展性:XSXXSX○S\subseteq X \subseteq X\cdot S
    开运算恒使图像缩小,闭运算恒使图像扩展。
    (3)单调性:XYXSYS,XSYSX\subseteq Y \Rightarrow X\cdot S\subseteq Y\cdot S, X○ S\subseteq Y○ S
    YZZY=ZXYXZY\subseteq Z\wedge Z\cdot Y=Z \Rightarrow X\cdot Y\subseteq X \cdot Z
    (4)平移不变性:(X+h)S=(XS)+h(X+h)\cdot S=(X\cdot S)+h
    (X+h)S=(XS)+h(X+h)○ S=(X○ S)+h
    X(S+h)=XSX\cdot (S+h)=X\cdot S
    X(S+h)=XSX○ (S+h)=X○ S
    (5)等幂性:(XS)S=XS,(XS)S=XS(X\cdot S)\cdot S = X\cdot S,(X○ S)○ S = X○ S
    (6)开闭运算与集合的关系:
    (i=0nXi)Si=0n(XiS)(\bigcup_{i=0}^{n}X_i)○S\supseteq \bigcup_{i=0}^{n}(X_i○S)
    (i=0nXi)Si=0n(XiS)(\bigcap_{i=0}^{n}X_i)○S\subseteq \bigcap_{i=0}^{n}(X_i○S)
    (i=0nXi)Si=0n(XiS)(\bigcup_{i=0}^{n}X_i)\cdot S\supseteq \bigcup_{i=0}^{n}(X_i\cdot S)
    (i=0nXi)Si=0n(XiS)(\bigcap_{i=0}^{n}X_i)\cdot S\subseteq \bigcap_{i=0}^{n}(X_i\cdot S)
    4、击中击不中变换
    XS={xS1+xXS2+xXC}=(XS1)(XCS2)X\odot S=\{x|S_1+x\subseteq X \wedge S_2+x\subseteq X^C\}=(X\ominus S_1)\cap(X^C\ominus S_2)

    6.3 灰值形态学

    1、灰值腐蚀
    (fb)(s,t)=min{f(s+x,t+y)b(x,y)s+x,t+yDfx,yDb}(f\ominus b)(s,t)=min\{f(s+x,t+y)-b(x,y)|s+x,t+y\in D_f \wedge x,y \in D_b\}
    腐蚀的计算是在由结构元素确定的领域中选取fbf\ominus b的最小值,所以灰值图像的腐蚀操作会有两类效果:如果结构体元素的值都为正,则输出图像会比原图像暗;如果输入图像中亮细节的尺寸比结构元素小,则其影响会被减弱。
    2、灰值膨胀
    (fb)(s,t)=max{f(sx,ty)+b(x,y)sx,tyDfx,yDb}(f\oplus b)(s,t)=max\{f(s-x,t-y)+b(x,y)|s-x,t-y\in D_f \wedge x,y \in D_b\}
    膨胀的计算是在由结构元素确定的领域中选取fbf\oplus b的最大值,所以对灰值图像的膨胀有两类效果:如果结构体元素的值都为正,则输出图像会比原图像亮;如果输入图像中暗细节的灰度值及形状相对于结构体元素的大小,则其被消减或消除。
    膨胀或腐蚀满足以下对偶关系:
    (fb)C=fCbV(f\oplus b)^C=f^C \ominus b^V
    (fb)C=fCbV(f\ominus b)^C=f^C \oplus b^V
    3、灰值开闭运算
    定义与二值形态学定义类似,亦满足类似的对偶关系。
    灰值开运算削平山峰。灰值闭运算填平深谷。
    实际中常用开运算操作消除与结构元素相比尺寸较小的亮细节,而保持整体灰度值和大的亮区域;实际应用中常使用闭运算操作消除与结构元素相比尺寸较小的暗细节,而保持图像整体灰值和大的暗区域。

    6.4 形态学的应用

    灰值形态学的主要算法有:灰值形态学梯度、形态学平滑、纹理分割、顶帽变换等
    二值形态学的主要算法有:二值形态学滤波、骨架抽取等
    1、形态学滤波
    将开运算与闭运算相结合可以构成形态学噪声滤除器,开运算滤除黑色背景上的白色噪声,闭运算滤除白色前景中的黑色噪声。
    2、骨架提取
    骨架定义方法:火种法、最大圆盘法
    (1)基于腐蚀和开运算的细化
    定义骨架子集Sk(X)S_k(X)为图像X内所有最大圆盘kB(至少与两条边相切的内切圆)的圆心x构成的集合。从骨架的定义可知,骨架是所有骨架子集的并,即
    Sk(X)={Sk(X)k=0,1,...,n} S_k(X)=\bigcup\{S_k(X)|k=0,1,...,n\}
    可以证明骨架子集可以表示为:
    Sk(X)=(XkB)[(XkB)B]XkB=(X(k1)B)B S_k(X)=(X\ominus kB)-[(X\ominus kB)○ B] \\ 递推公式:X\ominus kB=(X\ominus (k-1)B)\ominus B
    所以:
    S(X)={(XkB)[(XkB)B]k=0,1,2,...,n} S(X)=\bigcup\{(X\ominus kB)-[(X\ominus kB)○B]|k=0,1,2,...,n\}
    停止迭代的时机:XkBX\ominus kB\varnothing
    (2)快速形态学细化算法

    在这里插入图片描述
    (1)(2)(4)(6)都不能删除,(2)(4)可以删除
    可以删除的情况:内部点不可删除、孤立点不可删除、直线端点不可删除、去掉后连通分量不增加。

    第7章 图像分割

    图像分割就是把图象分成一系列有意义的、各具特征的目标或区域的技术和过程。这里的特征包括图像的统计特征和视觉特征。统计特征包括图像的直方图、矩和频谱等,图像的视觉特征主要包括区域的亮度、纹理或轮廓等。
    图像分割一般基于像素灰度值的两个性质:不连续性和相似性。区域之间的边界往往具有有灰度不连续性,而区域内部一般具有灰度相似性。
    图像分割算法一般分为两类:利用灰度不连续性——基于边界的分割;利用灰度相似性——基于区域的分割
    常用算法:阈值分割、区域生长、区域分裂与合并、边缘检测与边界连接、区域标记与轮廓跟踪、分水岭分割、Mean Shift和Graph Cuts算法

    7.1 阈值分割

    1、概述
    基本假设:目标与背景相邻像素间灰度值高度相关;目标与边界两侧像素灰度值差别很大;目标与背景的灰度分布都是单峰的。
    阈值分割过程:阶跃函数
    阈值分割的关键——阈值的确定:
    (1)种类:全局阈值、局部阈值、动态阈值(自适应阈值)
    (2)阈值分割的要素:T=T[x,y,f(x,y),p(x,y)]T=T[x,y,f(x,y),p(x,y)], f(x,y)表示灰度值,p(x,y)表示某种局部性质。
    2、全局阈值
    适用条件:“双峰”性质
    确定全局阈值的方法:
    (1)极小点阈值法:取直方图谷底位置作为阈值
    (2)迭代阈值法:初始阈值T1T_1→像素划分为G1G_1G2G_2→计算平均灰度μ1\mu_1μ2\mu_2→计算新的阈值T2=μ1+μ22T_2=\frac {\mu_1+\mu_2} 2→迭代→终止条件T2T1&lt;T0|T_2-T_1| &lt;T_0
    (3)最优阈值法:选择一个阈值使得总的分类误差概率降到最低。
    p(z)p(z)为灰度概率密度函数,p1(z)p_1(z)p2(z)p_2(z)分别为背景和目标灰度条件概率密度函数,P1P_1P2P_2为背景和目标像素出现的概率,那么由全概率公式得:
    p(z)=P1p1(z)+P2p2(z) p(z)=P_1p_1(z)+P_2p_2(z)
    把目标像素错分为背景像素的误差条件概率为:
    E1(T)=Tp1(z)dz E_1(T)=\int_{-\infty}^Tp_1(z)\mathrm{d}z
    把背景像素错分为背景像素的误差条件概率为:
    E2(T)=T+p2(z)dz E_2(T)=\int_T^{+\infty}p_2(z)\mathrm{d}z
    由全概率公式得总误差概率为:
    E(T)=P2E1(T)+P1E2(T) E(T)=P_2E_1(T)+P_1E_2(T)
    一般认为目标与背景的灰度服从高斯分布,利用概率论与数理统计中最大似然估计方法可以得到最优解
    T=μ1+μ22+σ2μ1μ2ln(P2P1) T=\frac {\mu_1+\mu_2} 2+\frac {\sigma^2} {\mu_1-\mu_2}ln(\frac{P_2}{P_1})
    (4)Otsu方法:使阈值分割后各个像素类的类间方差最大。
    步骤:将像素按灰度值进行分级,计算从第0个灰度级到第k个灰度级的概率和均值(数学期望),M个阈值将灰度值分为M+1个像素类,计算每个像素类的概率、平均灰度、方差,所有像素类的概率之和为1,图像总的平均灰度是所有像素类灰度的数学期望,类内方差定义为像素类灰度方差的数学期望,类间方差定义为像素类灰度均值的方差。
    (5)p参数法
    选取一个阈值T使得目标面积与背景面积的比为p:(1-p)
    3、局部阈值
    (1)直方图变换法
    对波谷进行切割或峰谷颠倒、根据像素的梯度值进行加权
    (2)散射图
    二维坐标图,横轴为灰度,纵轴为某种局部性质(如梯度值),亮度表示频数。根据亮色进行聚类。
    4、动态阈值
    网格划分,每个子图像定一个阈值。
    一种动态阈值算法:
    子图像分解→对于具备“双峰”采用最优阈值→插值得到其他阈值→分割

    7.2 基于区域的分割

    1、区域生长
    实质是bfs,需要初始种子,相似性准则
    2、区域分裂与合并
    先进行迭代四分裂,满足一致性条件后停止迭代,然后进行合并

    7.3 边缘检测

    常见的边缘类型:阶跃型、斜坡型、线状型、屋顶型
    1、微分算子
    在这里插入图片描述
    结论:一阶导数的幅度值可以用来检测边缘的存在,通过检测二阶导数的过零点可以确定边缘的中心位置,利用二阶导数在过零点附近的符号可以判断是在边缘的亮区还是暗区,处理之前要先消噪。
    (1)梯度算子:
    Krisch、Prewitt,均可沿8个方向
    (2)高斯-拉普拉斯算子
    结合了高斯平滑滤波器与拉普拉斯锐化滤波器。
    在这里插入图片描述
    在这里插入图片描述
    (3)Canny边缘检测
    Canny算子是一个非常有效的边界检测算子。
    ①首先对灰度图像进行高斯平滑。
    ②接着计算每个像素的梯度幅值和梯度方向。
    ③ 然后细化边缘。如果当前像素的梯度幅值不高于梯度方向上两个邻点的梯度幅值,则抑制该像素响应,这种方法称之为非最大抑制。
    ④ Canny算子使用两个幅值阈值,高阈值用于检测梯度幅值大的强边缘,低阈值用于检测梯度幅值较小的弱边缘。低阈值通常取为高阈值的一半。
    ⑤ 边缘细化后,就开始跟踪具有高幅值的轮廓。
    ⑥ 最后,从满足高阈值的边缘像素开始,顺序跟踪连续的轮廓段,把与强边缘相连的弱边缘连接起来。
    2、边界连接
    幅度阈值、角度阈值
    3、哈夫变换
    前提条件:已知区域形状
    (1)直线检测
    y=ax+b→b=-ax+y→{b=axi+yib=axj+yj\left \{\begin{matrix}b=-ax_i+y_i \\ b=-ax_j+y_j\end{matrix}\right.
    在这里插入图片描述
    如果多个点在同一条直线上,则在参数空间中对应直线必交于同一点。
    步骤:参数a、b进行量化,对于目标空间的每一个点,让a取遍每一个值apa_p,代入b=-ax+y,得到bpb_p,给A(p,q)++,处理完所有像素查找峰值即可知道最可能的a与b。
    斜截式方程有缺陷,一般可以换为法线式方程:ρ=xcosθ+ysinθ\rho=xcos\theta +ysin\theta
    (2)圆的检测:
    {a=xrcosθb=yrsinθ \left \{ \begin{matrix} a=x-rcos\theta \\ b=y-rsin\theta \end{matrix} \right.
    (3)任意曲线的检测:类似做法

    7.4 区域标记与轮廓追踪

    1、区域标记
    递归标记:BFS
    序贯标记:左、左上、上、右上邻点,如果都是背景,当前点新建标记;如果有一个被标记,复制标记;如果有两个不同标记,赋值之一,并在等价表中记录,再次扫描把等价的标记改为最小标记。
    2、轮廓提取
    八面合围置为背景
    3、轮廓追踪
    步骤:扫描图像,选定左上角点,初始dir为左下方向(4方向中为向下),逆时针查找边界点,查找到的新边界点作为当前点,在顺时针转回一个方向,迭代直到回到起始点。

    7.5 分水岭分割

    1、基本分水岭算法
    降雨法:降水,递归寻找低洼点,雨水流向>=2个低洼的是分水岭。
    淹没法:提升水位,如果水流溢出地外就筑坝,最后堤坝就是分水岭。
    2、Vincent-Soille算法
    类似并查集,提升水位,水平面与一些点相交,对于这些点,如果邻接点没有标记,新建标记,如果有标记,复制标记(取最近的积水盆地)
    使用分水岭分割之前先做距离变换,去除粘连。

    7.6 现代分割方法(略)

    7.7 图像分割实例

    大米计数:
    (1)高斯滤波、中值滤波或开闭运算消噪
    (2)消除非均匀光照:背景照度估计、灰值形态学、同态滤波
    (2)区域分割

    第8章 图像特征与理解

    图像特征:人视觉能够识别的自然特征,分为全局特征和局部特征。
    ,全局特征用于描述图像或目标的颜色或形状等整体特征,局部特征指一些能够稳定出现并具有良好可区分性的特征。

    8.1 图像的基本特征

    提取图像几何特征之前,分割和二值化处理。
    1、几何特征
    (1)位置和方向
    位置:质心
    方向:最小二阶矩轴(最小转动惯量)
    (2)周长
    隙码:把像素看成小方块后图形的绝对周长
    链码:边界像素中心点连线的长度
    边界点数之和:边界像素的个数
    (3)面积
    像素计数面积:统计边界内部像素的个数
    由边界行程码计算面积:
    ①已知区域的行程编码,只需把值为1的行程长度相加,即为区域面积。
    ②若给定边界的某种表示,则相应连通区域的面积应为区域外边界包围的面积,减去它的内边界包围的面积(空的面积)
    yk=y0+i=0kΔyiΔyi={1,εi=1,2,30,εi=0,41,εi=5,6,7Δxi={1,εi=0,1,70,εi=2,61,εi=3,4,5A=i=1n(yi1Δxi+a) y_k=y_0+\sum_{i=0}^k\Delta y_i \\ \Delta y_i=\left \{\begin{matrix}-1,\varepsilon _i = 1,2,3 \\ 0,\varepsilon _i = 0,4\\ 1,\varepsilon _i = 5,6,7 \\\end{matrix}\right. \\ \Delta x_i=\left \{\begin{matrix}-1,\varepsilon _i = 0,1,7 \\ 0,\varepsilon _i = 2,6\\ 1,\varepsilon _i = 3,4,5 \\\end{matrix}\right. \\ A=\sum_{i=1}^n(y_{i-1}\Delta x_i+a)
    由边界坐标计算面积:利用格林公式,A=12i=1Nb(xiyi+1xi+1yi]A=\frac 1 2 \sum_{i=1}^{N_b}(x_iy_{i+1}-x_{i+1}y_i]
    (4)长轴和短轴
    最小外接矩形的长与宽
    (5)距离
    欧式距离、市区距离、棋盘距离
    2、形状特征
    (1)矩形度=物体面积/最小外接矩形面积
    长宽比=最小外接矩形的宽与长的比值
    (2)圆形度:
    致密度=周长^2/面积
    边界能量:物体的周长为P,p表示边界点到某一起始点的距离,该点处的曲率半径为r§,则曲率为K§=1/r§,边界能量为E=1P0pK(p)2dpE=\frac 1 P\int_{0}^{p}|K(p)|^2\mathrm{d}p,在面积相同的情况下,圆具有最小的边界能量E0=(2πP)2=(1R)2E_0=(\frac {2\pi} P)^2=(\frac 1 R)^2
    原型性=区域质心到边界点的平均距离/区域质心到边界点的距离均方差,当区域R趋向圆形时,圆形性趋向无穷。
    面积与平均距离平方的比值=面积/内部点到边界点的平均距离
    3、球状性=内切圆半径/外接圆半径
    4、偏心率=区域长轴/区域短轴
    5、形状描述子
    (1)边界链码
    在这里插入图片描述
    在这里插入图片描述
    (2)一阶差分链码
    为了改进边界链码在旋转过程中会改变的情况。
    在这里插入图片描述
    (3)傅里叶描述子
    原理:将二维问题转化为一维问题进行处理,可以将边界曲线转化为一维函数,或者将边界曲线转化为复平面上点的序列。假定有一个复数序列,可以对其采用采用离散傅里叶变换,得到的结果就成为傅里叶变换子。

    8.2 角点特征

    角点:亮度变化最剧烈、图像边缘曲线上曲率最大,具有高信息密度和旋转不变的特性
    角点检测算法的4个准则:检测性、定位性、稳定性、复杂性
    角点检测方法的分类:基于边缘的检测算法、基于灰度变化的检测算法。前者做法是找曲率最大边界点或拐点或进行多边形拟合,但抗噪差且依赖边缘提取结果。后者做法为对局部结果进行分析,进行角点性质检测。
    1、Moravec算法
    灰度变化定义为沿各个方向移动窗口的灰度值与当前窗口灰度值差的平方和。
    E(u,v)=(x,y)W(I(x+u,y+v)I(x,y))2 E(u,v)=\sum_{(x,y)\in W}(I(x+u,y+v)-I(x,y))^2
    在这里插入图片描述
    2、Harris算法
    在Moravec算法基础上给不同方向的灰度变化方差加上权值,该权值为二维高斯窗口函数。
    E(u,v)=(x,y)Ww(x,y)(I(x+u,y+v)I(x,y))2w(x,y)=e(xx0)2+(yy0)22σ2I(x+u,y+v)I(x+u,y+v)=I(x,y)+uIx+vIy:E(u,v)=[u,v]M[u,v]TM=(x,y)Ww(x,y)[Ix2IxIyIxIyIy2]=[abcd] E(u,v)=\sum_{(x,y)\in W}w(x,y)(I(x+u,y+v)-I(x,y))^2 \\ w(x,y)=e^{-\frac {(x-x_0)^2+(y-y_0)^2} {2\sigma^2}} \\ 对I(x+u,y+v)进行泰勒展开:I(x+u,y+v)=I(x,y)+uI_x+vI_y \\ 代入上面的式子得:E(u,v)=[u,v]\boldsymbol M[u,v]^T \\ \boldsymbol M=\sum_{(x,y)\in W}w(x,y)\begin{bmatrix}I_x^2 &amp; I_xI_y \\ I_xI_y &amp; I_y^2 \end{bmatrix}=\begin{bmatrix}a &amp; b \\ c &amp; d \end{bmatrix}
    特征值λ1与λ2决定了矩阵M的性质:
    在这里插入图片描述
    3、SUSAN算法
    角点处的SUSAN面积具有局部最小值
    在这里插入图片描述

    8.3~8.6 (略)

    附加:图像匹配

    方法:投影法与差影法
    投影法:分为水平投影法和垂直投影法。基本原理是统计每行或每列目标像素的个数,得到一个直方图,根据直方图很容易就能找到目标图像的位置。
    差影法:利用同一景物同一时刻或不同时刻的图像,进行加、减、乘、除代数运算,分析得出某一物体的位置和运动情况

    第9章图像编码

    9.1 图像编码概述

    1、图像编码的基本原理和方法
    (1)图像数据冗余:
    空间冗余:内部相邻像素较强的相关性导致的冗余
    时间冗余:相邻两帧图像之间的相关性导致的冗余
    信息熵冗余:编码冗余,用于表示信源符号的平均比特数大于其信息熵时所产生的冗余。信息熵H=i=1Npilbpi=i=1Npilb1pilbNH=-\sum_{i=1}^{N}p_ilbp_i=\sum_{i=1}^{N}p_ilb\frac 1 {p_i}\le lbN
    结构冗余:图像中存在较强的纹理结构和自相似性
    知识冗余:图像中包含与某些先验知识有关的信息
    视觉冗余:人眼不能感知的那部分信息
    (2)图像编码方法
    分类:有损编码和无损编码;熵编码、预测编码、变换编码、量化编码
    熵编码:
    ①哈夫曼编码、香农-范诺编码、算术编码
    ②理论基础:平均码长等于信息熵时,总可设计出一种无损编码
    ③等长编码与变长编码
    ④变长编码定理:若一个离散无记忆信源的符号集具有r个码元,熵为H,则总可以找到一种无失真编码,构成单义可译码,使其平均码长L满足HlbrLHlbr+1\frac H {lbr}\le L \le \frac H {lbr}+1
    预测编码:基于图像数据的空间或时间冗余性,利用相邻已知像素预测当前像素的值,再对预测误差进行量化和编码。
    变换编码:空间域图像正交变换到另一变换域上,降低相关性。
    量化编码:通过将动态范围较大的输入信号映射到有限个离散值上。
    2、图像编码新技术(略)
    3、图像编码评价
    编码效率:平均码字长度L,压缩比CRC_R,编码效率η
    L=i=1NpiLiCR=BLη=HL L=\sum_{i=1}^{N}p_iL_i \\ C_R=\frac B L \\ \eta = \frac H L
    编码质量:均方误差MSE、峰值信噪比PSNR
    算法复杂度和算法的适用范围

    9.2 哈夫曼编码

    不会的挨打

    9.3 香农-范诺编码

    1、基本方法:
    信源符号出现概率降序排序;
    计算符号对应码字长度:logDPiNilogDPi+1-log_DP_i\le N_i \le -log_DP_i+1
    计算累加概率:Ai=k=0i1piA_i=\sum_{k=0}^{i-1}p_i
    将累加概率转换为二进制,取前NiN_i位。
    2、二分法香农-范诺编码方法
    在这里插入图片描述

    9.4 算术编码

    两种模式:基于信源概率统计特性的固定编码模式、针对未知信源概率模型的自适应模式
    在这里插入图片描述

    9.5 行程编码

    aabbbcddddd=2a3b1c5d

    9.6 LZW编码

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 数字图像处理第一章

    2020-05-26 10:42:32
    数字图像处理基础数字图像处理绪论1.数字图像处理是什么?2.数字图像处理的应用领域伽马射线成像X射线成像紫外波段成像可见光及红外波段成像微波波段成像无线电波段成像3.数字图像处理的基本步骤 数字图像处理绪论 1...

    数字图像处理绪论

    1.数字图像处理是什么?

    一幅图像我们可把它定义为一个二维函数f(x,y),其中x和y是空间(平面)坐标。任何一对空间坐标(x,y)处的幅值f称为图像在该点处的强度或者灰度。当x,y和灰度值f是有限的离散数值时,我们称该图像为数字图像。数字图像处理是指借助于数字计算机来处理数字图像。

    图像处理到计算机视觉这个连续的统一体中我们会考虑三种典型的计算处理,即低级、中级和高级处理。

    1.低级处理涉及初级操作,如降低噪声的图像预处理、对比度增强和图像锐化。以输入输出都是图片为特征。
    2.中级处理涉及诸多任务,譬如(把一幅图像分为不同的区域或目标)分割,减少这些目标物的描述,以使其更适合计算机处理及对不同目标的分类(识别)。中级图像处理以输入为图像但输出是从这些图像中提取的特征(如边缘、轮廓及各物体的标识等)为特征。
    3.高级处理涉及“理解”已识别目标的总体,以及在连续统一体的远端执行与视觉相关的认知功能。
    

    数字图像处理止于何处或其他相关领域(如图像分析与计算机视觉)从何处开始并没有一个统一的分界线。而我们学习的目标就是从数字图像处理开始入门,进入到计算机视觉的领域,最终目标是使用计算机来模拟人的视觉,这个领域本身就是人工智能的一个分支,我们需要计算机在理解接受视觉输入以后采取一系列的反馈动作,从而打造出“机器人的眼”。

    2.数字图像处理的应用领域

    视觉是人类最高级别的感知,所以图像在人类感知中扮演着最重要的角色,但是人类的感知也仅限于电磁波谱的可见光波段;机器却与人类不同,成像机器几乎可以覆盖从伽马射线到无线电波的整个电磁波谱范围,从而对人类不习惯的许多图像源进行加工,因而数字图像处理涉及很宽泛的各种应用领域。下面就是根据光子能量排列的电磁波谱,我们会逐个展示每一种波长的电磁波的应用实例。

    根据光子能量排列的电磁波谱
    伽马射线成像
    伽马射线成像的主要用途包括核医学和天文观测。在核医学中,这种方法是将放射性同位素注射到人体内,当这种物质衰变时就会放射出伽马射线,然后用伽马射线检测仪收集到的放射线来产生图像。

    X射线成像
    X射线是最早用于成像的电磁辐射源之一。最熟悉的X射线应用就是大家都做过的医学诊断,但是X射线还被广泛用于工业和其他领域,如天文学。用于医学和工业成像的X射线是由X射线管产生的,X射线管是带有阴极和阳极的真空管。阴极加热释放自由电子,这些电子以很高的速度向阳极流动,当电子撞击一个原子核时,能量被释放并形成X射线辐射,从而可以得到X射线成像。

    紫外波段成像
    紫外光用于荧光显微方法中,这是显微方法中发展最快的领域之一。紫外光本身并不可见,但当紫外辐射光子与荧光材料内原子中的电子碰撞时,它把电子提高到较高的能级,随后受激电子释放到较低的能级,并以可见光范围内的低能光子形式发光。

    可见光及红外波段成像
    可见光波段是我们最熟悉,同时红外波段常用于与可见光相结合成像,生活中我们时常可以见到的车牌识别,钞票识别,遥感领域都是可见光波段内,包括我们之后的学习的数字图像大部分都在可见光波段内。

    微波波段成像
    微波波段成像的典型应用是雷达。成像雷达的独特之处是在任何范围和时间内,不考虑气候、周围光照条件都可收集数据的能力,某些雷达波可以穿透云层,在一定条件下还可以穿透植被、冰层和极干燥的沙漠。

    无线电波段成像
    无线电波成像主要应用于医学和天文学。在医学中,无线电波用于核磁共振成像(MRI)。该技术是把病人放在电磁场中,并让无线电波短脉冲通过病人的身体,每个脉冲将导致由病人的组织发射的无线电响应脉冲,这些信号发生的位置和强度由计算机确定,从而产生病人的一幅二维剖面图像。

    上述的方法都应用于电磁波谱成像,虽然电磁波谱成像一直占有主导地位,但大量的其他成像方式也很重要,比如声波成像、电子显微方法和(由计算机产生的)合成图像,这里就不一一介绍了。

    3.数字图像处理的基本步骤

    我们接下来会按照从左到右的顺序进行数字图像处理的学习。图中左边都是低级处理,输入输出都为图像,图中右边输出的都为图像属性。
    数字图像处理

    数字图像处理基础

    1.人眼的视觉特性

    人对于可见光谱的波长仅在380mm~780mm中,可见光范围内,不同波长的光给人以不同的色彩感觉,不同强度的光及不同强度分布的光刺激人眼,在人脑中将产生不同的光强、颜色、形状等视觉信息,光感受器分为两类:锥状体和杆状体,它们主要位于视网膜中称为中央凹的中间部分,对颜色高度敏感。

    人的视网膜中含有三种不同的椎体细胞,三种椎体细胞对光谱的敏感峰值分别在:
    430纳米(蓝)540纳米(绿)570纳米(红)

    当三种颜色按一定比例同时刺激人眼时,会产生各种颜色感觉。其中有一种比例会使得颜色感觉完全消失,只有亮度感觉。颜色只取决于三个基本的输入量,这也是色觉三基色原理的基础。

    2.数字图像表示

    令f(s,t)表示一幅具有两个连续变量s和t的连续图像函数,通过取样和量化,我们可以把该函数转换成数字图像。假设我们把这幅连续图像取样为一个二维阵列f(x,y),该阵列包含有M行和N列,其中(x,y)是离散坐标。通常图像在任何坐标(x,y)处的值记为f(x,y),其中x和y都是整数。由一幅图像的坐标张成的实平面部分称为空间域,x和y称为空间变量或空间坐标。

    数值阵列通常用于处理和算法开发。以公式形式,我们可将一个M×N的数值阵列表示为
    数值矩阵
    该式两边以等效的方式定量地表达了一幅数字图像。右边是一个实数矩阵,矩阵中的每个元素称为图像单位、图像元素或像素

    这里我们要注意到的是数字图像的原点位于左上角,其中正x轴向下延伸,正y轴向右延伸。这样表示的好处基于:许多图像显示(譬如电视显示屏)扫描都是从左上角开始的,然后依次向下移动一行。更重要的事实是矩阵的第一个元素按照惯例应在阵列的左上角,这种表示方式使用的是我们熟悉的标准右手笛卡尔坐标系统

    3.数字图像中的几个基本概念

    空间和灰度分辨率

    图像数字化过程要求针对M值、N值和离散灰度级数L做出判定。对于M和N,除了必须取正整数外没有其他限制。然而,出于存储和量化硬件的考虑,灰度级数通常取为2的整数次幂,即L=2k L=2^{k}
    由此我们存储数字图像所需的比特数b为b=M×N×kb=M×N×k在大多数情况下M=N,由此我们引出空间分辨率和灰度分辨率的概念。

    空间分辨率是图像中可辨别的最小细节的度量。在数量上,空间分辨率可以有很多方法来说明,其中单位距离的线对数和单位距离的点数(像素数) 是最通用的度量,实际大多数是跟上式中的M值和N值有关。

    灰度分辨率是指在灰度级中可分辨的最小变化,即对上式中的k值进行调整,最通用的数是8比特。

    像素间的基本关系

    位于坐标(x,y)处的像素p有4个水平和垂直的相邻像素,其坐标是(x+1,y)(x1,y)(x,y+1)(x,y1)(x+1,y)(x-1,y)(x,y+1)(x,y-1)这组像素称为p的4邻域,用N4(p)表示。
    同样p的4个对角相邻像素的坐标是(x+1,y+1)(x+1,y1)(x1,y+1)(x1,y1)(x+1,y+1)(x+1,y-1)(x-1,y+1)(x-1,y-1)用ND(p)来表示。这些点与4个邻域一起称为p为8邻域,用N8(p)表示。

    了解了4邻域和8邻域的区别,我们由此可引入邻接性的概念。
    令V是用于定义邻接性的灰度值集合。在二值图像中,如果把具有1值的像素归属于邻接像素,则V={1}。

    (a)4邻接。如果q在集合N4(p)中,则具有V中数值的两个像素p和q是4邻接的。
    (b)8邻接。如果q在集合N8(p)中,则具有V中数值的两个像素p和q是8邻接的。
    (c)m邻接(混合邻接)。如果(i)q在N4(p)中,或(ii)q在ND(p)中,且集合N4(p)∩N4(q)中没有来自V中数值的像素,则p和q是m邻接的。m邻接的存在目的就是为了消除二义性的8邻接

    展开全文
  • 基本的图像处理 ( 对比度增强 、 插值 、 邻域 ) 直方图(图像均匀化,归一化) 图像滤波、图像梯度(Sobel,Laplacian) 频域图像处理、傅里叶变换等 形态学图像处理(膨胀和腐蚀,开闭操作等) 卷积神经网...

    综述

    2019六个大题
    满足复习提纲覆盖:

    • 图像表示及存储格式(交叉、顺序存贮)
    • 基本的图像处理 ( 对比度增强 、 插值 、 邻域 )
    • 直方图(图像均匀化,归一化)
    • 图像滤波、图像梯度(Sobel,Laplacian)
    • 频域图像处理、傅里叶变换等
    • 形态学图像处理(膨胀和腐蚀,开闭操作等)
    • 卷积神经网络

    关于知识点的索引,可以参考:
    DIP数字图像处理-知识提纲

    2019 CS 期末

    第一题

    交叉存储的图像8位3通道,其中每行字节为step。

    • 若原点(0,0)存储位置是p,问(x,y)处的存储位置是?
    • 若当前点(x,y)存储位置为p,问他的八邻域的存储位置?

    第二题

    给你一幅像素图像:

    • 请你画出他的直方图
    • 对其进行均衡化,并给出最后结果(均衡后的图像)

    第三题

    • 请你写出Sobel算子
    • 请你推到拉普拉斯算子的计算过程,以及其离散化表示形式。
    • Sobel和拉普拉斯算子的相同、不同之处

    第四题

    • 写出一维连续傅里叶变换公式,并给出每个部分的物理意义
    • 写出一维离散傅里叶变换公式,并给出每个部分的物理意义
    • 频率域滤波相比较空间域滤波,他的计算效率、适用条件?

    第五题

    • 描述什么是开操作闭操作?
    • 给你一个图,让你给出开操作和闭操作的结果(建议带铅笔;此外,你会画很久,请留够时间)。

    第六题

    • 请写出Batch normalization的过程
    • Batch normalization解决了什么问题,有什么优势?
    • 请写出SGD的过程
    • 请写出Adam的过程,他比SGD有什么优势?

    2019 SE:数媒 期末

    https://blog.csdn.net/weixin_42039835/article/details/103522759

    展开全文
  • 数字图像处理系统5.数字图像处理的目的二.图像处理技术简介1.简介2.常用技术3.数字图像处理的特点4.数字图像处理阶段三.图像处理技术的应用四.图像的存储格式1.图像文件按照颜色深度分类2.图像介绍3.图像的显示流程...
  • 数字图像处理第九章数字图像处理---形态学图像处理(一)预备知识1.1 预备知识1.1.1 集合理论中的基本概念1.2 二值图像、集合及逻辑算子(二)膨胀和腐蚀2.1 膨胀2.2 结构元的分解2.3 strel函数2.4 腐蚀(三) 膨胀...
  • 数字图像处理1. 数字图像基础图像种类图像格式色彩模型图像类型Pillow图像处理库基本操作 1. 数字图像基础 人眼直接感受到的图像是连续的模拟图像,为了计算机对图像进行加工,需要把连续的图像数字化、离散化,加工...
  • 数字图像处理入门

    2016-12-19 21:31:37
    图像是指能在人的视觉...简单地说, 数字图像就是能够在计算机上显示和处理的图像, 根据其特性可分为两大类一一位图和矢量圈。 位图通常使用数字阵列来表示, 常见格式有BMP、 1町、 GlF等:矢量图由矢量数据库表示,
  • 主要教学内容:遥感数字图像处理的概念和基础知识,遥感数字图像的几何处理,遥感图像的辐射校正,遥感数字图像的增强处理,遥感图像的计算机分类,遥感数字图像的分析方法,遥感图像处理软件的使用。 预备...
  • VC数字图像处理编程

    2013-12-04 17:31:01
    数字图像处理技术与理论是计算机应用的一个重要领域,许多工程应用都涉及到图像处理,一直有一个强烈的愿望,想系统的写一个关于数字图像处理的讲座,由于工作学习很忙,时至今日才得以实现。  “图”是物体...
  • 数字图像处理第六章数字图像处理---彩色图像处理(一) 在 MATLAB 中彩色图像的表示(二)仿射变换(三)投影变换(四)应用于图像的几何变换(五)MATLAB 中的图像坐标系统5.1 输出图像位置5.2 控制输出网格(六)...
  • 本专栏将以学习笔记形式对数字图像处理的重点基础知识进行总结整理,欢迎大家一起学习交流! 专栏链接:数字图像处理学习笔记 一、数字图像的内插 内插是在诸如放大、收缩、旋转和几何校正等任务中广泛应用的基本...
  • 近期学习数字图像处理及MATLAB实现》,其中关键字都有英文翻译,现将其分享,希望对写文章需要对相关文字翻译的各位读者有些许帮助。有疑问之处,欢迎提出。 参考《数字图像处理及MATLAB实现》(第2版) 主编:...
  • 什么是数字图像处理?历史、以及它所研究的内容。 说起图像处理,你会想到什么?你是否真的了解这个领域所研究的内容。纵向来说,数字图像处理研究的历史相当悠久;横向来说,数字图像处理研究的话题相当广泛。 ...
  • 数字图像信息可看成是一个二维... 数字图像处理的四种基本运算: 1. 灰度直方图:最简单最有用的图像处理工具,概括了一幅图像的灰度级内容,是灰度级的函数,描述图像中具有该灰度级的像素个数,横坐标是灰度级...
  • 数字图像处理

    2019-07-03 09:52:08
    一. 名词解释 1. 数字图像:是将一幅画面在空间上分割成离散的点(或像元),...3. 数字图像处理:采用特定的算法对数字图像进行处理,以获取视觉、接口输入的软硬件所需要数字图像的过程。 4. 图像增强:通过某...
  • 1、图像数字化一般采用均匀采样和均匀量化方式。 均匀采样,即等间隔采样。当对采样点数目有所限制时,比如说N×N个采样点,此时可以根据图像的特性采用自适应采样方案,有可能获得更好的效果。 自适应采样方案...
  • 一、图像及其类型 图像(image)的定义是:在一般意义下,一幅图像是一个物体或对象(object)的另一种表示。亦即图像是其所表示物体或对象信息的一个直接描述和浓缩表示。...数字图像处理(digital image pro...
  • python图像处理基础(一) 写在前面的话: 方便以后查文档,且这篇文章会随着学习一直更(因为还有opencv还没怎么学,目前是一些基本的操作)。都是跟着学习资料巩固的,只供学习使用。 第一部分—— 图像基本操作 ...
1 2 3 4 5 ... 20
收藏数 25,436
精华内容 10,174
关键字:

学习顺序 数字图像处理