• 如果已知一个物体的实际大小(比如在图片中放上一枚1元硬币或者知道某个柜子有多高),那么就可以通过长度比和参照物的已知长度测出物体长度。具体方法见文献[1],因为需要一些矩阵运算和摄像头成像方面的推导,这里只...
    从一幅图像中无法测出物体的长度,因为缺乏参照物,但可以测出两个平行物体的长度比例。如果已知一个物体的实际大小(比如在图片中放上一枚1元硬币或者知道某个柜子有多高),那么就可以通过长度比和参照物的已知长度测出物体长度。具体方法见文献[1],因为需要一些矩阵运算和摄像头成像方面的推导,这里只大概说说原理。楼上诸位所述也是这种原理。


    图像测量利用了摄像头成像也就是小孔成像的几个性质[2]:
    第一,摄像头把平行的直线映射为图像上相交直线,笔直的铁轨在远处相交就是这个道理,这个交点被称为消隐点(vanish point)。可以认为平行空间直线在无穷远处相交,消隐点则是这一交点的像。所有水平的平行直线族都各自相交于无穷远处的一点,这些点构成无穷远直线,这条直线在图像上的像叫地平线。我们所居住的三维空间中存在三组相互垂直的直线(例如水平两组,x轴和y轴方向,竖直一组,z轴方向),所有x、y、z方向上的平行直线在一张图片上会分别相交于各自的一个消隐点。并且水平直线对应的两个消隐点如果连起来,连线就是地平线。测量的关键,就是要得到这些消隐点,因此有很多竖直线(如书架)或水平线(如地板砖)的图片就容易测量。

    第二,摄像头把三维空间投影到二维的图像上,保持直线交比不变,交比是四个点两两“比例的比例”。所以如果在三维空间中的一条直线上有四个点,那么它们映射到图片上的四个点后,这四个点的交比不变。




    文献[1]通过这些条件,给出了从图片上计算长度比的公式。通过示意图我们可以更加直观地看出它是如何工作的:


    首先,假设我们已知蓝色小人Bob的身高,要求出红色小人John的身高,只需要知道两人的身高比值就可以:

    我们用大写字母表示真实的坐标,随后用小写字母表示图片上的像素坐标。两人的身高比值BE/AF可以这么求:首先连接AB,然后过E点做AB的平行线交AF于点D,因为ABED是个矩形,所以要求的比值就等于AD/AF。然而,这种判断是在三维空间中做出的,当物体成像为图片,所有点的位置都会发生变化(不要问我圆头为什么会变成方头):

    其中最显著的变化是平行线相交了,由此我们可以找到三个方向的消隐点,这可以通过对竖直和两组水平平行线求延长线获得:

    注意我们把水平平行线对应的两个消隐点连接起来,得到了一条在(无穷)远处的直线,每个人都熟悉它,它就是地平线。地平线上所有的点都有一个性质:从其上一个点引出的所有直线都是相互水平平行的。


    因此点D在图上的坐标d是这么求出的:
    1. 画出地平线
    2. 延长ab,交地平线于点c
    3. 延长ce,交af,也就是John于点d
    因为点c在无穷远处,所以cd和ca在空间中是平行直线,abed也就是上面说述真实空间中矩形ABED的像。
    (转载者说明:如果cd也是水平面上一直线,那么cd和ca互相平行是正确的,但是本文中cd是不在水平面上的)
    然而,知道了某些点在图像上的像,它们的实际长度比是无法直接从图上测得的,因为大家的深度不一样,这时就要利用成像前后一条直线上四个点交比不变的性质,考察红色小人John身上的三个点A、D、F以及其延长到无穷远处的点G,就可以得到(大写字母换成小写字母):
    (AD/AF)/(GD/GF)=(ad/af)/(gd/gf)
    因为已经求出了点d,等式右边所有的量都可以从图像上测出。等式左边的点G在真实空间是所有垂直直线的交点,这个点在无穷远,和无穷相比点F和点D的差异可以忽略不计,所以GD/GF=1,这样就得到最终结果:
    AD/AF = (ad/af)/(gd/gf)

    [1] Criminisi A, Reid I, Zisserman A. Single view metrology[J]. International Journal of Computer Vision, 2000, 40(2): 123-148.
    [2] Hartley R, Zisserman A. Multiple view geometry in computer vision[M]. Cambridge university press, 2003.
    展开全文
  • 数字图像处理[M]. 电子工业出版社, 2014.第一章 绪论1 数字图像处理的主要内容(基本步骤)是什么?主要内容:图像获取、图像增强、图像复原、彩色图像处理、(小波变换)、形态学处理、分 割、识别、压缩编码。 ...

    为了体验,还如果原文还在的话,还是看原文比较好

    教材:RafaelC.Gonzalez, RichardE.Woods, StevenL.Eddins,等. 数字图像处理[M]. 电子工业出版社, 2014.


    第一章 绪论

    1 数字图像处理的主要内容(基本步骤)是什么?

    主要内容:图像获取、图像增强、图像复原、彩色图像处理、(小波变换)、形态学处理、分 割、识别、压缩编码。

    基本步骤:

    图像获取:利用电磁波不同波段的成像特点进行成像,以及利用其他方式(如声波、电 子、计算机图形学)进行成像。

    图像增强:利用增强算法增强原图像中的特定特征,从而更有利于后续的处理工作。

    图像复原:根据成像系统建立退化模型,应用退化过程的逆过程对原图像进行复原。

    彩色图像处理:将色系的概念引入数字图像处理,使得数字图像处理能够处理生活中的彩色图像。

    形态学处理:运用算法对原图像所含有的几何特征(点、线、物体等)进行提取。

    图像分割:根据图像自身表达的内容,将组成原图像表达内容的各个元件拆分成相互独立且完整的整体。

    图像识别:根据图像自身信息,与现实生活中的物体进行匹配。

    压缩编码:对图像的存储大小进行压缩和编码,分为有损压缩和无损压缩,利用图像自身冗余减少存储图像时所用的数据量。

    2 根据成像信息源,数字图像处理主要应用有哪些?(电磁波不同波段的成像特点及应用),其它成像方式,如声波、电子显微镜等。

    伽马射线成像:核医学和天文观测

    X射线成像:医学诊断(血管照相术、计算机轴向断层)、工业和天文学

    紫外波段成像:平板印刷术、工业检测、荧光显微镜方法、激光、生物成像和天文观测等

    可见光及红外波段成像:光显微镜方法、天文学、遥感、工业和法律实施

    微波波段成像:雷达

    无线电波段成像:医学(核磁共振成像)、天文学

    其它成像方式:声波成像—医学、地震勘测、地质勘探;电子显微镜(电子);合成图像


    第二章 数字图像基础

    视觉感知要素

    1 人眼中两类光感受细胞锥状体细胞、杆状体细胞的主要功能和特点

    锥状体:数量在600-700万之间,主要位于视网膜的中间部分,且对颜色高度敏感。

    杆状体:7500-15000万之间,分布在视网膜表面。没有彩色感觉,而对低照明度敏感


    2 名词解释:马赫带现象

    在明暗交界的地方,亮区一侧的抑制作用大于暗区的抑制作用,从而产生暗区更暗,亮区更亮


    3 人眼对亮度的适应范围

    从暗阈值到强闪光约有 [公式] 个量级。主观亮度是进入人眼的光强的对数函数,分为暗视觉和亮视觉。视觉系统不能同时在一个范围内工作,需通过改变整个灵敏度来完成这一较大的变动,也就是亮度适应。

    问:当在白天进入一个黑暗剧场时,想要看清并找到空座位时眼睛需要适应一段时间,试述发生这种现象的视觉原理
    答:视觉不能同时在大范围工作,存在亮度适应现象,1)由于户外与剧场亮度差异很大,因此当人进入一个黑暗的剧场时,无法适应如此大的亮度差异,在剧场中什么也看不见;2)人眼不断调节亮度适应范围,逐渐地将视觉亮度中心调整到剧场的亮度范围,因此又可以看见、分清场景中的物体了


    4 解释为什么大口径镜头的照相机成像清晰?假定镜头制作工艺水平相同的情况下

    [公式][公式] 为实物粒子波长(光子,电子等), [公式] 为成像系统的镜头直径, [公式] 为爱里斑所成角。当 [公式] 变大,则 [公式] 越小,物体上某一点在成像系统中由于衍射形成的光斑大小就变小,成像就越清晰。同样,实物粒子波长 [公式] 越小,则成像也越清晰。


    5 视觉错觉

    眼睛填充了不存在的信息或者错误地感知了物体的几何特点。


    图像感知和获取

    6 图像的形成模型—用于同态滤波

    用形如 [公式] 的二维函数来表示图像,且 [公式][公式] 可由两个分量来表征:入射分量 [公式] 和反射分量 [公式]

    其中, [公式] , [公式]

    反射分量 [公式] 限制在0(全吸收)和1(全反射)之间。 [公式] 的性质取决于照射源,而 [公式] 的性质则取决于成像物体的特性。


    图像取样和量化

    7 图像数字化包括哪两个过程?数字化参数对数字化图像质量有何影响?

    取样和量化。对坐标值进行数字化称为取样,对幅值进行数字化称为量化。数字图像的质量在很大程度上取决于取样和量化中所用的样本数和灰度级。


    8 对比度、空间和灰度分辨率

    对比度:图像中最高和最低灰度级间的灰度差。

    空间分辨率:每单位距离线对数或每单位距离点数(像素 )

    灰度分辨率:灰度级中可分辨的最小变化


    像素间的一些基本关系

    9 4邻域、D邻域、8邻域

    4邻域:位于坐标 [公式] 处的像素 [公式] 有4个水平和垂直的相邻像素,其坐标为 [公式]

    D邻域: [公式] 的四个对角相邻像素,其坐标为 [公式]

    8邻域:4邻域+D邻域


    第三章 灰度变换和空间域滤波

    1 空间域滤波与频率域滤波的特点分别是什么?常用的滤波器有哪些?

    空间域滤波直接在图像像素上进行操作,频率域滤波操作在图像的傅里叶变换上执行,而不针对图像本身。

    常用空间滤波器

    线性滤波器:低通、中通、高通

    非线性滤波器:最小值、中值、最大值


    基本灰度变换

    2 基本的灰度变换函数:反转、对数或幂次

    图像反转:得到灰度级范围为 [公式] 的一幅图像的反转图像

    [公式]

    特点:实现反白

    对数变换

    [公式]

    特点:扩展低输入,压缩高输入

    应用:当原图动态范围太大,超出显示设备的范围时,如直接显示原图可能会使部分细节丢失,此时可采用对数变换,如傅里叶频谱的显示。

    幂律(伽马)变换

    [公式]

    特点:根据拉伸或者压缩的需要,选择不同的 [公式][公式] 值。

    应用:图像获取、打印和显示的各种装置时按幂次规律响应的。用于修正幂次响应现象的过程称为伽马校正。

    分段线性变换

    (1)对比度拉伸。压缩两端动态范围,扩展中段目标的动态范围。

    (2)灰度切分。突出目标轮廓,消除或保留背景细节。


    直方图处理

    3 什么是灰度直方图?有哪些应用?从灰度直方图能获得图像的哪些信息?

    灰度直方图:表示图像中具有某种灰度级的像素的个数

    应用:评价成像条件,图像增强处理,图像分割,图像压缩,其他图像处理任务(条件直方图,联合直方图 [公式] 条件熵,联合熵,互信息,广义熵等,最大熵图像复原,图像配准,目标识别等)

    直方图反映图像的总体性质:明暗性质、细节是否清晰、动态范围大小等


    4 直方图均衡化的基本步骤

    1. 统计原始图像的直方图,求出 [公式]
    2. 用累计分布函数 [公式] 作变换,求变换后的新灰度
    3. 用新灰度代替旧灰度,求出 [公式] ,这一步是近似的,同时把灰度相等的或相近的合在一起


    5 直方图规定化的基本步骤

    1. [公式]
    2. [公式]
    3. 建立 [公式][公式] 的映射


    6 局部直方图处理

    以图像中每个像素的邻域中的灰度分布为基础设计变换函数。当使用非重叠区域转移时可以减少计算量,但是处理后的图像会出现棋盘效应。


    空间滤波

    7 利用平滑滤波器对图像进行低通滤波时,能抑制噪声,但同时也模糊了细节,可以采用哪种措施来减小对图像的模糊程度

    加权均值滤波或中值滤波

    中值滤波:将像素领域内灰度的中值代替该像素的值,对处理脉冲噪声(椒盐噪声)非常有效。


    8 图像锐化:一阶微分、二阶微分,一阶微分算子、二阶微分算子

    突出图像中的细节、边缘或轮廓。因为边缘和轮廓都位于灰度突变的地方,所以锐化算法的实现是基于微分作用。

    一阶微分

    [公式]

    一阶微分通常会产生较宽的边缘。对灰度阶梯有较强的响应。

    二阶微分

    [公式]

    二阶微分对细节有较强的响应,如细线、孤立点、噪声等。对灰度阶梯变化产生双响应。在灰度变化值相似时,对线的响应比对阶梯的响应强,对点的响应比对线的响应强。(点>线>阶梯)

    二阶微分增强细节的能力比一阶微分好。

    一阶微分算子:Roberts、Sobel、Prewitt算子

    二阶微分算子:拉普拉斯算子。拉普拉斯算子具有各向同性,即旋转不变性。

    [公式]


    第四章 频率域滤波

    傅里叶变换

    1 图像二维离散傅里叶变换的公式,并分析傅里叶变换的频率分量与图像空间特征之间的联系

    正变换

    [公式]

    反变换

    [公式]

    图像的频率是表征图像中灰度变化剧烈程度的指标,是灰度在平面空间上的梯度。直流分量 [公式] 对应一幅图像的平均灰度,低频对应图像中变化缓慢的灰度分量,高频部分对应图像边缘和灰度级突变的部分。


    2 用傅里叶变换的性质证明图像频域中心化处理等于 [公式] ,为什么要进行中心化处理?

    用傅里叶变换的平移特性证明

    [公式]

    其中 [公式][公式]

    由傅里叶变换的平移特性可得

    [公式]

    因此

    [公式]

    原因:一张图像中的能量主要集中在低频区,中心化处理可以将图像的低频分量集中在频谱图中央,便于观察。


    频率域滤波

    3 写出图像频域滤波的基本步骤

    1. 补零:对 [公式] 补0,得到 [公式] 填充后图像 [公式] ,避免缠绕;
    2. 中心化变换:用 [公式] 乘输入图像得 [公式]
    3. DFT:对(2)中 [公式] 做离散傅里叶变换,得 [公式][公式]
    4. 滤波:用滤波函数 [公式] 乘以 [公式][公式]
    5. 得到处理后图像: [公式]
    6. [公式] 左上限提取 [公式] 区域,得到最终结果 [公式]

    4 写出三种频率域平滑(低通)滤波器,并分析各自特点。截止频率对结果的影响。

    目的:对图像产生平滑作用。

    理想低通滤波器、巴特沃斯低通滤波器、高斯低通滤波器

    理想低通滤波器(ILPF):

    截断傅里叶变化中所有的高频部分,物理不可实现。单位冲激响应为sinc函数,有模糊振铃现象。

    巴特沃斯低通滤波器(BLPF):

    [公式]

    在带通和被滤除的频率之间没有明显的截断,有一个平滑的过渡带。1阶巴特沃斯滤波器没有振铃,2阶中振铃通常很微小,阶数增高时振铃现象逐渐成为一个重要的因素。当阶数n充分大时,巴特沃斯滤波器就变成理想低通滤波器。

    高斯低通滤波器(GLPF):

    [公式]

    [公式] 时,滤波器下降到它最大值的 [公式]

    空间高斯滤波器没有振铃现象


    5 写出三种频率域高通滤波器,并分析各自特点

    理想高通滤波器、巴特沃斯高通滤波器、高斯高通滤波器

    理想高通滤波器(IHPF):

    将以 [公式] 为半径的圆周内的所有频率置为0,而毫不衰减通过圆周外的任何频率。物理不可实现。有振铃现象。

    巴特沃斯高通滤波器(BHPF):

    [公式]

    BHPF比IHPF更平滑,相同设置的BHPF的边缘失真比IHPF小得多。

    高斯高通滤波器(GHPF):

    [公式]

    [公式][公式] 。GHPF比前两种滤波器更平滑,即使对微小物体和西线用GHPF过滤也是加清晰的。没有振铃现象。


    6 用傅里叶变换的性质证明空间锐化滤波器拉普拉斯算子在频域是高通滤波器

    [公式]

    乘以 [公式] 中心化

    [公式]

    在空域中,用原始图像减去拉普拉斯算子部分,得到增强图像 [公式]

    频域中,用反变换实现

    [公式]

    [公式] 在频域上表现为高通滤波器


    7 同态滤波过程、目的是什么?

    目的:消除不均匀照度的影响,增强图像细节

    依据:物理过程产生的图像,灰度值正比于物理源的辐射能量,而辐射能量有照射分量和反射分量合成。反射分量反映图像内容,随图像细节不同在空间上作快速变化。照射分量在空间上通常具有缓慢变化的性质。照射分量的频谱落在空间低频区域,反射分量的频谱落在空间高频区域。

    实现步骤

    1. [公式]
    2. [公式]
    3. [公式]
    4. 压缩 [公式] 分量变化范围,削弱 [公式] ,增强 [公式] 分量的对比度,提升 [公式] ,增强细节,确定 [公式][公式]
      [公式]

    效果:压缩动态范围,增强对比度


    第五章 图像复原与重建

    图像退化/复原模型

    图像退化:由于成像系统受各种因素影响,在获取和传输过程中使图像质量降低的现象称为图像退化。主要原因有:成像系统的散焦,成像设备与物体间的相对运动,成像器材的固有缺陷,外界环境(噪声、干扰)。这里只研究由噪声引起的退化。

    图像复原:根据图像降质过程的某些先验知识,建立“退化模型”,运用与退化相反的过程(逆过程),将退化图像恢复原来面目。目的是改善图像的质量。

    1 写出图像在空间域和频率域的退化数学模型的表达式,并分析造成图像退化的原因

    空间域:​ [公式]

    频率域:​ [公式]

    造成图像退化的原因:成像系统的散焦,成像设备与物体间的相对运动,成像器材的固有缺陷,外界环境(噪声、干扰)。


    空间域图像复原

    2 带噪图像空间域复原的方法:均值滤波(算术、几何、谐波/调和),统计排序滤波

    均值滤波器

    算术均值滤波器:​ [公式]

    在滤除噪声的同时,会造成图像的模糊

    几何均值滤波器:​ [公式]

    几何均值滤波器实现的平滑程度与算术均值滤波器相当,但能保留更多的图像细节,对黑色物体有扩大作用。

    谐波均值滤波器:​ [公式]

    谐波均值滤波器对于“盐粒”噪声效果更好,但不适用于“胡椒”噪声,对于高斯噪声有比较好的效果。

    逆谐波均值滤波器:​ [公式]

    适用于消除椒盐噪声。
    Q>0时,用于消除“胡椒”噪声;
    Q<0时,用于消除“盐粒”噪声。
    但不能同时消除两种噪声。
    Q=0,为算术均值滤波器;
    Q=-1,为谐波均值滤波器

    统计排序滤波器

    中值滤波器: [公式]

    对单极或双极脉冲噪声非常有效。

    最大值滤波器:​ [公式]

    用于发现图像中的最亮点,可有效过滤“胡椒”噪声。

    最小值滤波器:​ [公式]

    用于发现图像中的最暗点,可有效过滤“盐粒”噪声。

    中点滤波器:​ [公式]

    结合了顺序统计和求平均,对于高斯和均匀随机分布噪声有最好的效果。

    修正的阿尔法均值滤波器:​ [公式]

    在​邻域内去掉​最高灰度值的​和最低灰度值的​,​代表剩余的​个像素。

    当d=0,退变为算术均值滤波器;
    当d=mn-1,退变为中值滤波器;
    当d取其他值时,适用于包括多种噪声的情况下,例如高斯噪声和椒盐噪声混合的情况。


    3 自适应滤波器为何有比较好的处理效果?

    以​的矩形窗口​定义的滤波器区域内图像的统计特性为基础,其性能优于迄今为止讨论过的所有滤波器的性能,但增加了算法复杂性。包括:自适应局部降低噪声滤波器,自适应中值滤波器。

    自适应局部降低噪声滤波器

    [公式]

    预期性能如下,若 [公式] ​, [公式] ​,保留原灰度值,不做处理;若 [公式] ​,​ [公式][公式] ​本身权重增加;若 [公式] ​, [公式] ​,降低局部噪声

    自适应局部降低噪声滤波器效果好于算术、几何均值,保留细节更好,付出代价时增加了复杂性。
    细节边缘部分,局部方差变大,更多保留g(x,y),灰度变化平坦区域,平滑作用更强。

    自适应中值滤波器

    主要目的:去除“椒盐”噪声(冲激噪声),平滑其它非冲激噪声,减少物体边界细化或粗化等失真现象。

    算法实现:

    进程A——找到一个非脉冲的中值

    [公式][公式] ​,若 [公式] ​且 [公式] ​, [公式] ​,中值不是脉冲,转到进程B,否则增大窗口尺寸。如果窗口尺寸​ [公式] ,重复进程A,否则输出 [公式] ​。

    进程B——判断中心像素是否脉冲

    [公式][公式] ​,若​ [公式][公式] ​, [公式] ​,​不是脉冲,输出 [公式] ​。否则,[公式]或​[公式] 输出​ [公式]

    自适应中值滤波器可以处理具有更大密度的冲激噪声,可以在平滑非冲激噪声时保留细节。
    而传统中值滤波器无法做到。


    频率域滤波消除周期噪声

    4 如何去除图像中的周期噪声?带阻或陷波、最佳陷波

    带阻滤波器

    理想:​ [公式]

    巴特沃斯: [公式]

    高斯:​ [公式]

    带通滤波器

    [公式]

    陷波滤波器

    阻止或通过实现定义的中心频率邻域内的频率。是一种特殊的带阻/通滤波器,它的阻/通带范围极小,有着很高的Q因子。以原点对称。

    最佳陷波滤波器

    提取干扰模式的主频率分量,从被污染的图像中减去该模式的一个可变的加权部分。

    估计退化函数

    5 在图像复原中,估计退化函数的主要方法有哪些?

    图像观察估计

    后验判断。对于一幅模糊图像,若没有退化函数的知识,则需从退化图像本身来估计​。

    [公式]

    假设系统空间位移不变,可推导出针对整幅图像的​,它必然与​具有相同的形状。

    可选择有特征的部分图像进行估计。
    选取图像中强信号区域(SNR大,如清晰的点),利用空间不变,得全局h(x,y)。
    原景物含有明显的直线,从这些线条的退化图像求h(x,y)。
    有明显的界限,已知形状的物体,如:篮球、足球、车牌文字、标志性建筑等。

    试验估计

    可使用相似的退化图像获取设备,建立理论上近似准确的退化函数估计。利用相同的系统设置,对一个脉冲成像,得到退化函数的冲激响应。

    [公式]

    [公式]

    建模估计

    运用先验知识建模。根据:大气湍流、光学系统三角、照相机与景物相对运动导致模糊的物理过程(先验知识)来确定​。

    大气湍流退化:​ [公式]

    照相机与景物相对运动:​ [公式]

    光学散焦退化: [公式]

    高斯退化: [公式]


    6 建模估计当中,由于成像传感器与被摄物体之间存在相对的均匀线性运动,给出图像退化函数​

    设T为快门时间,​和​使位移的x分量和y分量,则

    [公式]

    ​为模糊图像,上式两边作傅里叶变换,得

    [公式]

    [公式] ​得

    [公式]

    假定图像只在x方向以给定的速度​做匀速直线运动,可得

    [公式]

    若允许y分量随着变化,按​则退化函数变为

    [公式]


    由退化函数复原图像

    7 由退化函数​复原图像的主要方法:逆滤波、最小均方误差(维纳)滤波、约束最小二乘滤波

    逆滤波

    原始图像傅里叶变换的估计值 [公式]

    复原后的图像为 [公式]

    最小均方误差滤波(维纳滤波)

    寻找一个滤波器,使得复原后的图像和原图像的均方差最小,即

    [公式]

    [公式] 如果噪声为0,维纳滤波器退化为逆滤波。

    处理白噪声时, [公式] 为常数,可作如下简化处理

    [公式]

    约束最小二乘滤波

    除需要关于退化系统的传递函数外,还需知道某些噪声的统计特性或噪声与图像的某些相关情况。


    8 逆滤波时,为什么图像存在噪声时,不能采用全滤波?试采用逆滤波原理说明,并给出正确的处理方法。

    [公式]

    即使知道退化函数,也不能准确复原未退化的图像,因为未知。如果退化函数是零或非常小的值,将导致不稳定解,比值非常大,噪声项将被放大,对复原的结果占主导地位。

    解决退化函数为零或非常小的值的问题的一种处理方法为限制滤波的频率,使其接近原点。


    第六章 彩色图像处理

    伪彩色图像处理

    1 什么是伪彩色图像处理?目的是什么?试列举伪彩色处理的主要方法

    基于指定规则将灰度值映射成为彩色值。

    主要目的是,景物映射成奇异彩色,比本色更引人注目;适应人眼对颜色的灵敏度,提高鉴别能力。可把细节丰富的物体映射成深浅与亮度不一的颜色;遥感多光谱图像转换成假彩色,可以获得更多信息。

    主要处理方法:强度映射、通道合成


    彩色模型

    1 图像的彩色模型解释:RGB、CMYK、HSI的含义及应用

    面向硬件的彩色模型

    RGB(红、绿、蓝)模型—彩色监视器、彩色视频摄像机

    每种颜色出现在红、绿、蓝的原色光谱分量中。

    CMY(青、深红、黄)/CMYK(青、深红、黄、黑)模型—彩色打印机

    一种减色系统,将从白光中滤出三种原色之后获得的颜色作为表色系的三原色。K为黑色,印刷时可用黑色墨来印刷。

    由等量的颜料原色青色、深红色和黄色组合所产生的黑色不纯。为了产生真正的黑色(在打印中起主要作用的颜色),加入了第四种颜色——黑色。

    面向应用的彩色模型

    HSI(色调、饱和度、亮度)模型—面向一般彩色图像应用

    该模型可在彩色图像中从携带的彩色信息(色调和饱和度)中消去强度分量的影响,反映了人类观察彩色的方式,是开发基于彩色描述的图像处理算法的理想工具。

    饱和度:色环原点到彩色点的半径长度。

    色调:由角度表示,反映了该颜色最接近什么样的光谱波长。


    第八章 图像压缩

    1 图像压缩中,主要数据冗余是什么?列举常见的图像压缩格式

    主要数据冗余:编码冗余、像素间冗余、心理视觉冗余。

    • 编码冗余:信息熵冗余。图像中平均每个像素使用的比特数大于该图像的信息熵。
    • 像素间冗余(空间和时间冗余):大多数像素存在空间连贯性,视频中帧间像素也存在相关性,造成了数据的冗余。
    • 心理视觉冗余:多数图像中包含由一些被人类视觉系统忽略或与用途无关的信息。

    常见图像压缩格式

    静态图像:二值—CCITT Group3/4、JBIG/JBIG2、TIFF;连续音调—JPEG/JPEG-LS/JPEG-2000、BMP、GIF、PDF、PNG、TIFF

    视频:DV、H.261/262/263/264、MPEG-1/2/4/4 AVC、AVS、HDV、M-JPEG、Quick Time、VC-1

    基本压缩方法


    2 霍夫曼编码,并计算编码效率。压缩率、冗余度、信息熵

    步骤:

    1. 将信源符号按概率递增顺序排列
    2. 将两个最小的概率加起来作为新符号的概率
    3. 重复步骤1和2,直到概率和为1
    4. 完成上述步骤后沿路径返回进行编码。寻找从每一信源符号到概率为1处的路径,每层有两个分支,分别为大的概率赋予0和小的概率为1,从而得到每个符号的编码

    压缩率: [公式] ​。大于1,压缩前比特数除以压缩后平均码长。

    冗余度:​ [公式]

    信息熵: [公式] ​,​ [公式]


    3 算术编码

    原理:根据信源不同符号序列的概率,把​区间划分为互不重叠的子区间,子区间的宽度恰好是各符号序列的概率,这样不同符号序列与各子区间一一对应,因此每个子区间内任意一个实数都可用来表示对应的符号序列,这个数就是该符号序列所对应的码字。显然遗传符号序列发生的概率越大,对应的子区间就越宽,要表达它所用的比特数就减少,因而相应的码字就越短。

    算术编码分为静态模型和自适应模型。静态模型信源符号概率分布固定,自适应模型信源符号概率分布的估计随着每次这种上下文出现时的符号而自适应更新,从而更加符合实际的概率分布。不管编码器使用怎样的模型,解码器也必须使用同样的模型。

    特点:

    • 较容易地定义自适应模式,即为各个符号设定相同的概率初值,然后根据出现的符号做相应的改变,得到改变值。由于编码和解码使用同样的初始值和改变值,因此概率模型保持一致。自适应模式适用于不进行概率统计的场合。
    • 实现比霍夫曼编码复杂,但当信号源符号的出现概率相近时,算术编码的效率高于霍夫曼编码5%左右。
    这种技术不像霍夫曼编码方法那样要求每个符号转换成整数,在理论上达到了香农第一定理的极限。

    这里给出例题。假设信源符号为 [公式] ,这些符号的概率分别为 [公式] ,对输入的序列cadacdb进行算术编码。


    4 给出离散余弦变换DCT变换的表达式和基于DCT块编码系统实现的主要步骤,并对每一步作简要说明

    离散余弦变换

    对于大小为​的子图像​,其离散余弦变换可表示为

    [公式]

    若给定 [公式] ​,则可以使用离散反变换得到​

    [公式]

    其中,​ [公式]

    [公式][公式] ​类似

    基于DCT块编码系统

    编码器执行子图像分解、变换、量化和编码,解码器执行解码、反变换、图像合并。一幅大小为的输入图像首先被分解为大小为的子图像,然后用离散余弦变换变换这些子图以生成个子图像变换阵列,每个阵列的大小为。离散余弦变换的目的时对每幅子图像中的像素进行去相关,或用最少数量的变换系数包含尽可能多的信息。在量化阶段,以一种预定义的方式有选择地消除或更粗略地量化那些携带最少信息的系数,这些系数对重建的子图像质量影响最小。通过对量化后的系数进行编码阶数编码过程。

    DCT的信息携带能力比DFT和WHT要强。在计算度上,虽然WHT的计算量最小,但是由于DCT可采用快速算法,因而在信息综合能力和计算复杂度上的综合性能比较好而得到广泛应用。

    第九章 形态学图像处理

    形态学的基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状已达到对图像分析和识别的目的。

    将数学形态学作为工具从图像中提取表达和描绘区域形状的有用图像分量,如边界、骨架、凸壳等,或用于图像的预处理和后处理,如形态学滤波、细化和修剪等。数学形态学的语言是集合论

    形态学图像处理的基本运算有四种:膨胀、腐蚀、开操作和闭操作。

    二值形态学基本运算

    1 腐蚀和膨胀操作:名词解释或简答、实现,说明主要特点及应用

    膨胀

    定义:假定​A和B是 [公式] ​上的集合,​ A被​B(结构元)膨胀定义为

    [公式]

    含义:把结构元B​平移z后得到 [公式] ​,若 [公式] ​,记下这个z点,所有满足上述条件的z点组成的集合称作​A被B​膨胀的结果。

    过程:结构元​B也可以看为卷积掩码,因为膨胀的操作过程和线性卷积过程很类似。用​B的原点和A​上的点逐一对比,如果上有一个点落在​的范围内,则​原点对应的点就为图像。

    特点:膨胀的结果会使目标变大。

    应用:将裂缝桥接起来,消除小的孔洞。

    腐蚀

    定义:假定​A和B​是​ [公式] 上的集合,A​被B​(结构元)腐蚀定义为

    [公式]

    含义:腐蚀结果是由移位元素z组成的集合,以至​B对这些元素移位操作的结果完全包含于A。

    过程:把结构元素B​平移z后得到 [公式] ​,若​ [公式] 包含于A​,记下这个z点,所有满足上述条件的z点组成的集合称作​A被​B腐蚀的结果。

    特点:腐蚀缩小或细化了二值图像中的物体。

    应用:消除二值图像中的不相关细节。当结构元素小于目标时,则腐蚀掉目标的边界成分;腐蚀可以把小于结构元素的物体(毛刺、小凸起)去除;如果两个物体之间有细小的连通,结构元素足够大时,通过腐蚀运算可以将两个物体分开。

    腐蚀和膨胀关于补集和反射操作呈对偶关系。
    [公式]


    2 开操作和闭操作:名词解释或简答、实现,说明主要特点及应用

    开运算

    定义:​ [公式]

    含义:先用结构元B​对A​腐蚀,再对腐蚀结果用同样的结构元进行膨胀操作。

    特点:等幂性,即多次开运算结果与一次是一样的

    应用:断开狭窄的连接,如去除细胞粘连、字体粘连;消除西小物体,可用于去噪点;使用圆、椭圆等结构元素时,使对象轮廓变光滑;保持大物体尺寸基本不变。

    闭运算

    定义:​ [公式]

    含义:先用结构元​对​膨胀,再对膨胀结果用同样的结构元进行腐蚀操作,过程与开运算正好相反。

    特点:等幂性,即多次闭运算结果与一次是一样的

    应用:连接狭窄的间隙,如短线粘连、字体连接;填充物体内细小孔洞,可用于去噪点;填补轮廓线的断裂;保持大物体的尺寸基本不变。

    开运算通常对图像轮廓进行平滑,使狭窄的“地峡”形状断开,去掉细的突起(与结构元有关,如圆、椭圆结构元造成平滑结果,而矩形则非)。闭运算也是趋向于平滑图像的轮廓,但与开运算相反,它一般使窄的断开部位和细长的沟融合,填补轮廓上的间隙。


    二值形态学图像处理基本操作

    边界提取:先用一合适的结构元B对A腐蚀,然后再把A减去腐蚀的结果来获得。​ [公式]

    区域填充:从界内一点P开始,用1去填充整个区域,填充过程为: [公式] ​,为条件膨胀。

    连接分量提取: [公式] ​,取交集的作用是消除中心元素标志为0的膨胀结果。

    还有凸壳、细化、粗化、骨架、裁剪等操作,涉及到击中击不中变换这里不再给出具体定义。


    灰度级形态学

    腐蚀:​ [公式]

    膨胀:​ [公式]

    开运算:​ [公式]

    闭运算:​ [公式]


    第十章 图像分割

    图像分割

    1 解释图像分割及应用,图像分割是基于灰度的什么特征实现的?

    定义:将一幅图像分解为若干互不交叠的、有意义的、具有相似性质的区域或对象。

    应用:确定航空照片中的森林、耕地、城市区域等;文字识别、识别和标定细胞。

    图像分割基于区域内部灰度值的相似性和区域之间灰度的不连续性。


    间断检测

    2 一阶、二阶导数对图像的灰度特征是如何响应的?

    一阶导数:在恒定灰度区域为零;在灰度台阶或斜坡开始处不为零;沿斜坡灰度点处不为零

    二阶导数:在恒定灰度区域为零;在灰度台阶或斜坡开始处不为零;沿斜坡灰度点处为零

    一阶导数用于检测一个点是否属于边缘;二阶导数的正负符号可以用于判断边缘像素是在亮的一边还是暗的一边。

    点检测

    使用如下模板

    [公式]

    [公式] ​,则在模板中心的位置已经检测到一个孤立点,T为非负门限。

    线检测

    第一个模板对水平方向的线条有很强的响应;第二个模板对+45度方向线有最佳响应。模板系数为0,表明恒定灰度区域响应为0。


    边缘模型

    在边缘处,灰度和结构等信息发生突变。沿边缘方向灰度变化平缓,垂直边缘方向灰度变化剧烈。这种变化可用微分算子检测,通常用一阶或二阶导数来检测边缘。

    3 边缘检测(梯度sobel、Prewitt、Roberts、拉普拉斯算子),给出模板,分析其功能

    步骤:滤波、锐化、检测、定位

    梯度算子

    Roberts算子:计算对角方向相邻两像素之差,也成为四点差分法。

    [公式]

    特点:对4点进行差分求得梯度,方法简单;对噪声较敏感,常用于不含噪声的图片边缘点检测。

    Prewitt算子:先求平均,再求差分得到梯度。

    [公式]

    上述Prewitt算子分别用来检测水平、 [公式] ​、垂直、 [公式] ​四个方向边缘。

    效果:去噪+增强边缘

    Sobel算子:加权平均后差分,减弱对边缘的模糊程度。

    [公式]

    上述Sobel算子分别用来检测水平、 [公式] ​、垂直、 [公式] ​四个方向边缘。

    效果:去噪+增强边缘

    拉普拉斯算子

    求图像的二阶导数。​ [公式]

    常用模板

    [公式]

    分别以 [公式] ​和 [公式] ​旋转各向同性。

    特点:一般不直接用拉普拉斯算子检测边缘—对噪声敏感;会产生双边缘;不能检测边缘的方向

    作用:边缘检测各向同性;利用它的零交叉的性质进行边缘定位;确定一个像素是在边缘暗的一边还是亮的一边。


    4 高级复杂的边缘检测方法:Marr-Hildreth和Canny算子实现步骤、特点和应用,给出主要步骤的数学模型

    Marr-Hildreth

    高斯拉普拉斯(LOG—Laplacian of Gaussian)

    步骤:用高斯函数平滑图像;用拉普拉斯算子进行边缘检测;根据二阶导数算子过零点的性质来确定边缘的位置。

    表达式:

    [公式]

    这里给出一个 [公式] ​大小的LoG算子模板

    [公式]

    LoG滤波器的尺寸: [公式]

    特点:

    • 优点—图像中的边缘比梯度边缘细;高斯滤波器平滑,有利于抑制噪声;拉普拉斯算子是各向同性的。
    • 缺点—零阈值时边缘由许多闭合环的零交叉点决定;非零阈值的零交叉点的计算比较复杂。

    高斯差(DoG—Difference of Gaussians)

    [公式]

    k=1.6时是LoG的近似,两个高斯核的大小决定了两个高斯模糊后的影像间的尺度。用于图像增强时,k=4或5,很好地近似了视网膜上神经节细胞的视野。

    Canny边缘检测器

    步骤:高斯平滑;计算梯度幅值图像和角度图像;对梯度幅值图像应用非最大抑制(NMS);用双阈值处理和连接分析来检测和连接边缘。

    特点:图像中的边缘比梯度边缘细;高斯滤波器平滑,有利于抑制噪声。实现复杂,执行时间长。


    5 Hough变换检测直线

    将在图像空间中过点​ [公式] 的直线 [公式] ​表示为参数空间表达式​ [公式] 。参数空间ab中相交直线最多的点交点 [公式] ​即为图像空间中过点 [公式] ​和 [公式] ​的直线的斜率和截距。由于垂直直线斜率趋于无穷大,故改用极坐标 [公式] ​参数空间​ [公式] 。对应不是直线而是正弦曲线。

    使用交点累加器,或交点统计直方图,找出相交线段最多的参数空间的点,然后找出该点对应的xy平面对应的直线线段。

    Hough变换不仅能检测直线,还可以检测具有解析式的曲线。


    阈值处理

    6 简述门限(阈值)分割图像的基本思路,自动全局阈值如何选取?

    基本思路

    根据图像的整体信息(如直方图),或局部信息(共生矩阵等)来选择一个或多个值,从而把该图像分割成目标与背景两类区域或者多个目标与背景的区域。

    根据灰度图,绘制直方图,根据直方图,决定阈值,原图灰度高于阈值的置 1,低于阈值的置 0,得到二值图像。

    自动全局阈值的选取

    1. 选择一个T的初始估计值;
    2. 用T分割图像,会生成两组像素:​ [公式] 由所有 [公式] ​的像素组成,而​ [公式] 由所有 [公式] ​的像素组成;
    3. 计算区域​和​的平均灰度值​ [公式] 和​ [公式]
    4. 计算新的阈值​ [公式]
    5. 重复步骤2-4,直到迭代中T值之差小于事先定义的参数​ [公式]

    门限处理的分类:

    全局门限处理:仅取决于灰度级值

    局部门限处理:取决于灰度级值和局部性质

    动态(自适应)门限处理:取决于空间坐标x和y

    基于Otsu方法的最佳全局阈值处理*

    1. 计算输入图像的归一化直方图,直方图各个分量为​ [公式]
    2. 计算累积和​ [公式]
    3. 计算累积均值​ [公式]
    4. 计算全局灰度均值​ [公式]
    5. 计算类间方差 [公式]
    6. 得到Otsu阈值​ [公式] ,即令 [公式] ​最大的k值。如果最大值不唯一,用相应检测到的各个最大值k的平均得到​ [公式]
    7. 在​ [公式] 处计算,得到可分性度量​ [公式]


    区域分割*

    传统区域分割算法有区域生长法区域分裂合并法。空间和时间开销较大。

    区域生长

    步骤

    1. 根据图像的不同应用选择一个或一组种子
    2. 选择一个相似性准则
    3. 从该种子开始向外扩张,不断将与集合中各个像素连通且满足相似性准则的像素加入集合
    4. 上一过程进行到不再有满足条件的新结点加入集合为止

    区域分裂合并

    1. 设整幅图像为初始区域
    2. 对图像的每一个区域R​,计算P®​,如果P®=FALSE​,则把该区域分裂成四个子区域
    3. 重复步骤2直至没有区域可分裂
    4. 对图像中任意两个相邻的 [公式][公式] ,如果 [公式] ,则把这两个区域合并成一个区域
    5. 重复步骤4直至没有相邻区域可合并,算法结束

    基于形态学分水岭的分割*

    分水岭算法借鉴了形态学理论,将图像看成拓扑地形图,其中灰度值被认为时地形高度值,高灰度值对应着山峰,低灰度值对应着山谷。图像分割就是在灰度图像中找出不同的吸水盆地和分水岭。分水岭算法是一种自适应的多阈值分割算法。

    由于梯度图中可能有较多的局部极小点,因此可能会导致过分割。

    展开全文
  • 图像边缘检测总结 ...边缘检测是图像处理和机器视觉最基本的操作,边缘检测不仅大小减少要处理的信息同时要保留了图像中物体的形状信息。 2. 边缘定义及类型 边缘在图像中是指,图像中灰度发生急

    图像边缘检测总结

    1. 前言

    边缘是图像最重要的特征之一,光线的变化显著影响了目标区域的外观,但是不会改变目标的边缘。人的视觉系统对边缘也是敏感的。边缘检测是图像处理和机器视觉最基本的操作,边缘检测不仅大小减少要处理的信息同时要保留了图像中物体的形状信息。

    2. 边缘定义及类型

    边缘在图像中是指,图像中灰度发生急剧变化的区域,或者周围像素灰度有阶跃变化或屋顶变化的像素集合。
    边缘可以看作一个区域的结束,另一个区域的开始。利用边缘的特征,可以对图像进行分割。根据定义可以知道,利用各种算法检测到的边缘,并不代表目标的实际边缘。由于图像是二维的,而目标实物是三维的,从三维到二维的投影,已经造成了信息的丢失,再加上成像过程受光照、噪声的影响,使得有边缘的地方不一定被检测出来,而检测出来的边缘也不一定代表实际边缘。
    图像的边缘有方向和幅度两个属性,沿边缘方向像素变化平缓,垂直于边缘方向像素变化剧烈。因此,利用图像边缘的变化特性,通过微分算子可以将边缘检查出来。
    常见的边缘种类有:

    • (1)阶梯状:边缘处于图像中两个具有不同灰度值的相邻区域之间;
    • (2)脉冲状:主要对应细条状的灰度突变区域;
    • (3)屋顶状:边缘上升或下降比较缓慢。
      在这里插入图片描述

    3. 边缘检测种类

    边缘检测通常用一阶或二阶导数来检测边缘。一阶导数以最大值对应边缘位置,二阶导数以过零点为边缘位置。常见的边缘检测算子有:Roberts算子、Prewitt算子、Sobel算子、LoG算子、Canny算子等等。

    4. 图像梯度及梯度算子

    边缘检测是检测图像局部显著变化的最基本运算,在一维的情况下,阶跃边缘同图像一阶导数局部峰值有关。梯度是函数变化的一种度量,而一幅图像可以看作是图像连续函数的取样点序列。梯度是一阶导数的二维等效式。设ff为输入图像GG为图像ff(x,y)(x,y)处寻找边缘的强度,图像梯度的矢量定义如下:
    G=[GxGy]=[xy](1) G = [\frac{G_x}{G_y}] = [\frac{\partial x}{\partial y}] \tag{1}
    f\triangledown f为图像的梯度,向量表示如下:
    f=grad(f)=[gxgy]=[fxfy](2) \triangledown f = grad(f) = \begin{bmatrix} g_x \\ g_y \end{bmatrix} = \begin{bmatrix} \frac{\partial f}{\partial x} \\ \\ \frac{\partial f}{\partial y} \end{bmatrix} \tag{2}
    其中f\triangledown f表示图像ff(x,y)(x,y)处的最大变化率的方向。
    G(x,y)G(x,y)为梯度f\triangledown f的大小,即梯度向量方向变化率的值,则:
    G(x,y)=mag(f)=gx2+gy2(3) G(x,y) = mag(\triangledown f) = \sqrt{g_x^2 + g_y^2} \tag{3}

    图像梯度的数学简单推导:
    对于以函数f(x)f(x)在点x处的导数近似:将函数f(x+x)f(x+\triangle x)展开为xx的泰勒级数,令x=1\triangle x = 1,且只保留该级数的线性项,则函数f(x)f(x)的梯度f\triangledown f计算为:
    f=fx=f(x+1)f(x)(4) \triangledown f = \frac{\partial f}{\partial x} = f(x + 1) - f(x) \tag{4}

    由梯度的推导及矢量分析可以知道,梯度的方向定义为:
    α(x,y)=arctangygx(5) \alpha(x,y) = \arctan\frac{g_y}{g_x} \tag{5}
    其中,gxg_x可以近似为:
    gx=f(x,y)x=f(x,y+1)f(x,y)(6) g_x = \frac{\partial f(x,y)}{\partial x} = f(x,y+1) - f(x,y) \tag{6}
    gyg_y可以近似为:
    gy=f(x,y)y=f(x,y)f(x+1,y)(7) g_y = \frac{\partial f(x,y)}{\partial y} = f(x,y) - f(x + 1,y) \tag{7}

    上述gxg_xgyg_y表达式的有关值可以使用:[11]\begin{bmatrix} -1 \\ 1 \end{bmatrix}[11]\begin{bmatrix} -1 & 1 \end{bmatrix}对图像f(x,y)f(x,y)滤波得到。
    用于计算梯度偏导数的滤波模板,通常称为梯度算子、边检检测算子。

    5. 图像边缘检测的一般步骤

    • (1)滤波:边缘检测算法主要基于一阶和二阶导数,但是导数对噪声很敏感,因此需要根据噪声的特点通过相应的滤波器来改善与噪声有关的边缘检测算子性能;
    • (2)增强:增强边缘的基础是确定图像各点邻域强度的变化值。增强算法可以将邻域(或局部)强度有显著变化的点突出来,边缘增强一般通过计算梯度幅值来完成。
    • (3)检测:在图像中有许多点的梯度幅值比较大,而这些点在特定的应用领域中并不都是边缘,所以应该用某种方法来确定哪些是边缘点。最简单的边缘检测判据是梯度幅值阈值判据。
    • (4)定位:如果某一应用场合要求确定边缘位置,则边缘位置可以子像素分辨率上来估计,边缘的方位可以被估计出来。

    6. 图像边缘的意义

    对图像进行边缘检测的意义很重要。在医学图像处理领域,它在图像匹配、肿瘤病灶确定、造影血管检测、冠心病诊断、左心室边缘抽出等方面占有举足轻重的地位,它还广泛用于卢脑三维重建前的边缘抽取,尘肺的自动侦测,脑灰质脑白质的抽取,各种时期癌症细胞的识别,通过眼底视网膜来诊断糖尿病等,在疾病的辅助诊断及观察治疗效果等方面起了重要作用。 此外,边缘在模式识别、机器视觉等中有很重要的应用。边缘是边界检测的重要基础,也是外形检测的基础。边缘广泛存在于物体与背景之间、物体与物体之间、基元与基元之间,因此它也是图像分割所依赖的重要特征。边缘检测对于物体的识别也很重要的。主要有以下几个理由:首先,人眼通过追踪未知物体的轮廓而扫描一个未知的物体。第二,经验告诉人们:如果人们能成功得到图像的边缘,那么图像分析就会大大简化。图像识别就会容易得多。第三,很多图像并没有具体的物体,对这些图像的理解取决于它们的纹理性质,而提取这些纹理性质与边缘检测有着极其密切的关系。

    7. 常见图像边缘检测算法及实现

    展开全文
  • 使用TW2867进行视频输入信号的编码,存储到DDR2中,通过FPGA和ARM的联合控制,通过I2C总线进行通信,进行数字图像处理,实现了单通道视频信号输入屏幕显示、4通过视频信号输入4分屏显示、边沿检测算法,将处理结果...
     
    

       

    本报告给出一个基于FPGA+两片DDR2组成的核心板、带有4路视频输入和VGA接口的开发板进行的视频图像采集和处理系统的设计。使用TW2867进行视频输入信号的编码,存储到DDR2中,通过FPGAARM的联合控制,通过I2C总线进行通信,进行数字图像处理,实现了单通道视频信号输入屏幕显示、4通过视频信号输入4分屏显示、边沿检测算法,将处理结果通过VGA接口连接到LCD显示器上进行显示。本报告从硬件设计和软件设计两个方面对该基于FPGA的视频图像处理系统的工作过程做了详尽描述。

     

    关键词:视频图像处理、FPGA、边沿检测、4分屏显示

     

    1、设计目的

    图像处理技术和机器视觉作为一门前沿的技术,为人们的生活和工作带来了极大的便利和愉悦。由于视频信号的数据量大,信号较为复杂,这就要求视频信号处理系统具有实时采集、大容量存储和实时处理的特点。本报告提出基于现场可编程门阵列FPGA的视频图像采集与处理系统设计方案,利用FPGA并行处理快速的特点,辅以图像处理算法,用以获得不同需求的视频图像,并通过VGA显示器进行实时显示。

    2、设计任务与性能指标

    本系统中主要是通过AV接口实现视频图像采集,将采集到的4路模拟电视信号进行格式编码转换成数字信号,存储在DDR2中作为缓存,供FPGA处理器进行数字图像的处理,处理的结果再通过视频编码芯片转换为模拟电视信号通过VGA接口完成基于LCD显示器的4分屏视频图像显示功能,在图像处理中完成边缘检测算法的实现。

    3、系统总体设计与工作原理

    本系统由视频图像采集模块、存储模块、显示模块以及相关配置电路模块组成。采集模块通过视频通过解码芯片TW2867将通过AV接口连接的摄像头拍摄到的视频模拟信号转变为ITU-RBT656格式的数字视频信号;存储模块选取解码后的一帧图像数据的有效大小存入DDR2存储器中,在处理进行前和处理进行中,作为未得到处理的图像数据信息的缓存;显示模块从存储器中读出图像数据,再通过视频编码芯片ADV7123视频D/A转换芯片进行格式转换输出模拟信号,通过VGA接口在LCD液晶显示器上进行显示处理后的效果和采集显示的视频信息。

    在原理框图1中可以看到有4路视频输入信号,选择4路输入信号是因为要实现4分屏分割显示4路摄像头采集到的信息,因为摄像头硬件资源的欠缺,只使用了两个摄像头但是原理是完成实现了,只要安装够4个视频输入就一定可以显示4路视频信息。

     

     

                                                


                                                                                                  1系统设计原理

     

     

    31系统硬件设计

    因为本系统设计是基于黑金动力社区的FPGA视频处理开发平台实验板进行的,因此所使用的硬件电路也是该开发板上搭载的实验器件,均是已经较为成熟的视频图像采集与处理硬件设备。实验板型号为ALINX822 REV3.0,在该实验板上整个开发板的结构继承了一贯的核心板和扩展板的模式进行设计的。核心板主要由FPGA+两片DDR2构成,承担视频图像处理的核心算法,充分利用了FPGA并行处理的能力,加上两片DDR2构成32bit总线,整个系统的带宽高达10Gb/s,两片DDR2容量高达2Gbit,满足视频处理过程中对高缓冲区的需求。该实验板选用的FPGAALTERA公司CYCLONE IV系列中速度级别最高的C6级别,可以实现FPGADDR2之间的时钟频率达到200MDDR2内部400M,充分满足了四路1080P视频处理的需求。

                                

                                                                                                      2开发板实物图

    上图2是使用的开发板的实物图,从上面可以看到其实验板的型号,搭载的器件的一些型号信息,中间的即为核心板,核心板下面则是一块更大面积的扩展板,扩展板上则分布着VGA接口、HDMI接口、视频输出接口、视频输入接口、ARM控制器、扩展口、SD卡槽等器件。从下图3中可以看到整个开发板的系统结构图。

                                           

                              3开发板结构图

     

    本系统所使用到的器件框架结构图在图4中可以清晰地看到,跟整个开发板结构图相比,没有使用到视频输出接口和HDMI接口,其他则都用到了。TW2867是为了将视频输入接口采集到的视频信号进行编码成数字信号,ADV7123是将经过处理后的数字信号转为模拟电视信号,以供VGA接口连接显示器进行LCD屏的显示。

                                   

                                                                                        4 硬件设计原理框图

    32单元电路设计

    1,采集模块

    采集模块是选用了Techwell公司的TW2867,可以输入4路符合视频信号,PAL/NTSC/SECAM自动识别,输出BT656,可多路复用总线,FPGA端解复用,节省IO,其中TW2867IIC接口和复位引脚与STM32F103相连,通过STM32F103来对TW2867进行初始化和控制操作,其他引脚与FPGA相连。在图5中,可以看到4路视频输入接口跟TW2867相连接,实现4路视频输入。

    ARM对应引脚如下表1所示:

                                   1 ARM引脚对应表

    引脚名称

       ARM引脚

           SDA

    39

    SCL

    40

    2867_NRESET

    41

     

                                         

                                                                               5视频输入接口实物图

    FPGA对应引脚如下表2所示:

                    2 FPGA引脚对应表

    引脚名称

       FPGA引脚

     cvbs_in_cikp

         P20

    cvbs_in_cikn

    N19

    cvbs_in_data[0]

    M19

    cvbs_in_data[1]

    N20

    cvbs_in_data[2]

    M20

    cvbs_in_data[3]

    T17

    cvbs_in_data[4]

    P17

    cvbs_in_data[5]

    R17

    cvbs_in_data[6]

    N18

    cvbs_in_data[7]

    N17

                             

                                                                                         6电路设计连接图

    2,存储模块

    本部分完成图像数据在DDR2中的帧存,为后端图像进一步处理做好准备,图像数据采集后需要进行图像处理,在处理进行前和处理进行中,未得到处理的图像数据信息需放置在帧缓存中。存储模块是使用了DDR2芯片,容量为1Gbit,两片DDR2芯片构建32bit总线模式,2G容量,带宽高达10Gb,可以满足41080p视频处理的需求。

                           

                              7 DDR2实物图

                    

                                                                                 8  DDR2电路图 

    在下表3中可以看到DDR2引脚对应表:

                           3 DDR2引脚对应表

    引脚名称

    FPGA引脚

    引脚名称

    FPGA引脚

    mem_addr[0]

    U10

    mem_addr[8]

    AA3

    mem_addr[1]

    Y6

    mem_addr[9]

    U13

    mem_addr[2]

    T16

    mem_addr[10]

    V6

    mem_addr[3]

    R14

    mem_addr[11]

    AB3

    mem_addr[4]

    AA4

    mem_addr[12]

    U14

    mem_addr[5]

    T11

    mem_ba[0]

    U7

    mem_addr[6]

    AB5

    mem_ba[1]

    AB10

    mem_addr[7]

    T14

    mem_ba[2]

    T9

    mem_cas_n

    R15

    mem_dq[15]

    W10

    mem_cke[0]

    U8

    mem_dq[16]

    AB15

    mem_clk[0]

    AA17

    mem_dq[17]

    W13

    mem_clk_n[0]

    AB17

    mem_dq[18]

    AB14

    mem_cs_n[0]

    Y17

    mem_dq[19]

    AA13

    mem_dm[0]

    V5

    mem_dq[20]

    AB13

    mem_dm[1]

    AA7

    mem_dq[21]

    AA14

    mem_dm[2]

    AA10

    mem_dq[22]

    U12

    mem_dm[3]

    AA16

    mem_dq[23]

    AA15

    mem_dq[0]

    V8

    mem_dq[24]

    T15

    mem_dq[1]

    W6

    mem_dq[25]

    V15

    mem_dq[2]

    W8

    mem_dq[26]

    W17

    mem_dq[3]

    W7

    mem_dq[27]

    AB16

    mem_dq[4]

    Y3

    mem_dq[28]

    V14

    mem_dq[5]

    Y7

    mem_dq[29]

    AB20

    mem_dq[6]

    AA5

    mem_dq[30]

    W15

    mem_dq[7]

    U9

    mem_dq[31]

    AB18

    mem_dq[8]

    AA9

    mem_dqs[0]

    V10

    mem_dq[9]

    AB8

    mem_dqs[1]

    AB9

    mem_dq[10]

    Y10

    mem_dqs[2]

    Y13

    mem_dq[11]

    AA8

    mem_dqs[3]

    V13

    mem_dq[12]

    AB7

    mem_odt[0]

    R16

    mem_dq[13]

    V11

    mem_rs_n

    T10

    mem_dq[14]

    Y8

    mem_we_n

    V7

    3,显示模块

    本部分完成从DDR2中读出图像数据,通过视频编码芯片ADV7123输出模拟视频信号,通过VGA接口连接电脑LCD液晶显示器,在电脑屏幕上就可以看见处理的各种结果。图9可以看到VGA接口的实物图,有15个针孔,供接线用。

                        

                            9 VGA接口实物图

                  

          10VGA接线实物图                      11 LCD显示器实物显示

                                    

                                                                         12 ADV7123原理图

    10是直接展示了VGA接口跟带VGA接口线的LCD显示器的实物连接图,图11则展示了连接后的LCD效果图,在图12中可以看到ADV7123芯片与VGA接口的链接原理图。

    4给出了对应的引脚接线:

                          4引脚对应表

    引脚名称

    FPGA引脚

    引脚名称

    FPGA引脚

    vga_out_clk

    M6

    vga_out_rgb_g[2]

    T4

    vga_out_hs

    N6

    vga_out_rgb_g[3]

    M1

    vga_out_vs

    V3

    vga_out_rgb_g[4]

    M2

    vga_out_de

    P2

    vga_out_rgb_g[5]

    N1

    vga_out_rgb_b[0]

    R1

    vga_out_rgb_g[6]

    N2

    vga_out_rgb_b[1]

    R2

    vga_out_rgb_g[7]

    P1

    vga_out_rgb_b2]

    M7

    vga_out_rgb_r[0]

    J1

    vga_out_rgb_b[3]

    M8

    vga_out_rgb_r[1]

    K8

    vga_out_rgb_b[4]

    P7

    vga_out_rgb_r[2]

    L6

    vga_out_rgb_b[5]

    N7

    vga_out_rgb_r[3]

    M3

    vga_out_rgb_b[6]

    R7

    vga_out_rgb_r[4]

    L8

    vga_out_rgb_b7]

    P6

    vga_out_rgb_r[5]

    M4

    vga_out_rgb_g[0]

    P4

    vga_out_rgb_r[6]

    N5

    vga_out_rgb_g[1]

    R5

    vga_out_rgb_r[7]

    P3

    4ARM控制器

       STM32F103使用高性能的ARM® Cortex-M3 32位的RISC内核,工作频率为72MHz,内置高速存储器(高达128K字节的闪存和20K字节的SRAM),丰富的增强I/O端口和联接到两条APB总线的外设。所有型号的器件都包含212位的ADC3个通用16位定时器和1PWM定时器,还包含标准和先进的通信接口:多达2I2C接口和SPI接口、3USART接口、一个USB接口和一个CAN接口。 

    STM32F103中等容量增强型系列产品供电电压为2.0V3.6V,包含-40°C+85°C温度范围和-40°C+105°C的扩展温度范围。一系列的省电模式保证低功耗应用的要求。STM32F103xx中等容量增强型系列产品提供包括从36脚至100脚的6种不同封装形式;本系统使用的是64引脚的芯片。

                

                                  13 STM32F103实物

     

            

                                                                                      14 STM32F103原理图

    33器件选择与参数确定

    1),FPGA型号选择及参数

      FPGA是选用的ALTERA公司的CYCLONEIV系列的EP4CE30F23C6这款开发的高性能核心板,适合视频图像处理和高速数据采集等方面使用。

    2),数据采集芯片

    数据采集芯片是选用了Techwell公司的TW2867,可以输入4路符合视频信号,PAL/NTSC/SECAM自动识别,输出BT656,可多路复用总线,FPGA端解复用,节省IO,其中TW2867IIC接口和复位引脚与STM32F103相连,通过STM32F103来对TW2867进行初始化和控制操作,其他引脚与FPGA相连。

    3),DDR2

    存储模块是使用了DDR2芯片,选用了MICRON公司的MT47H64M16HR这款DDR2芯片,容量为1Gbit,两片DDR2芯片构建32bit总线模式,2G容量,带宽高达10Gb,可以满足41080p视频处理的需求。

    4),VGA输出编码芯片

    VGA显示部分,使用了ADI公司的ADV7123,最高可以支持1080p@60Hz输出。

    5),ARM

    ARM选择的是STM32F103,其使用高性能的ARM® Cortex-M3 32位的RISC内核,工作频率为72MHz,内置高速存储器,丰富的增强I/O端口和联接到两条APB总线的外设。

    6),模拟摄像头

      采用CCD摄像头,红外发射灯,人眼不可见。在黑暗的环境里可以实现实时视频监控,夜视距离10m以内。

    4、系统软件设计

    1. I2C总线

      I2C总线是Philips公司提出的一种允许芯片间在简单的二线总线上工作的串行接口和软件协议,主要用于智能集成电路和器件间的数据通信。I2C总线具有以下特征:

      1只有两条总线线路:1条串行数据线(SDA)和1条串行时钟线(SCL)。

      2每个连接到总线上的器件都可以由软件以唯一的地址寻址,并建立简单的主从关系,主器件既可以作为发送器,也可以作为接收器。

      3它是一个真正的多主机总线,带有竞争检测和仲裁电路,可使多个主机任意同时发送数据而不破坏总线上的数据信息。

      4同步时钟允许器通过总线以不同的波特率进行通信。

      5同步时钟可以作为停止和重新启动串行总线的握手方式。

       

      1I2C总线时序

      I2C总线上的数据传输由起始信号,START条件发起,停止信号STOP条件结束。在I2C总线技术规范中,起始和停止条件的定义如图15所示。当时钟线SCL为高电平时,数据线SDA从高电平向低电平切换表示开始传送数据;当SCL线为高电平时,SDA线由低电平向高电平表示停止传送数据。起始和停止条件一般由主机产生。总线在起始条件后被认为处于忙状态,在停止条件产生一段时间后中总线被认为再次处于空闲状态。

                                 

                                                                                     15 I2C总线时序

      2I2C总线配置

          TW2867I2C总线配置时其接口的功能可以由两个模块来实现,其中I2C_CTR用来控制产生I2C总线的时序,I2C_cmd用来配置TW2867的命令参数的配置。

          为了对总线上的设备进行控制,必须制定一个特定的协议,即为I2C总线协议:首先I2C总线控制器建立一个数据传输开始的条件:SCL为高,SDA由高电平变向低电平。外围设备监控SDASCL,等待开始条件和正确的传输地址。开始条件到达以后,紧接着送出一个8位寄存器地址(7位地址和1位读写信号)。当SCL为高、SDA从低到高时,表示一次传输完成,等待下一次传输开始。 

    2. TW2867寄存器配置

      通过设定TW2867的内部寄存器来设定、实现TW2867的各种功能。本设计的TW2867功能是采集PAL制式的模拟信号,并在27MHz频率下进行D/A转换,以输出8位宽、格式为YCbCr 4:2:2的数字信号。寄存器配置表如表5寄存器配置表

                                      5寄存器配置表

    寄存器地址

    80

    60

    61

    FC

    7F

    D0

    E1

    设置参数

    3F

    15

    03

    FF

    80

    88

    C0

    寄存器地址

    D2

    D3

    D7

    D13

    DC

    E0

    F8

    设置参数

    01

    10

    32

    E1

    00

    10

    C4

    寄存器地址

    E2

    E3

    F0

    F1

    F2

    70

     

    设置参数

    AA

    AA

    83

    B5

    09

    08

     

    寄存器地址

    73

    7B

    7C

    7E

    89

    D1

     

    设置参数

    01

    15

    15

    C0

    01

    88

     

     

     

    1. 视频信号采集

      1ITU_RBT.656标准

      目前,数字视频的国际标准是国际电联的ITU_RBT.656格式。ITU_RBT.656标准是在国际电信联盟无线电通信部门6563号建议书中提出来的,它的全称是工作在ITU-RBT.656建议的4:2:2级别上的525行和625行电视系统中的数字分量视频信号的接口。实施这种标准是为了在525行和625行两者间具有最大的共同性,同时提出一种世界范围兼容的数字方法。该标准在单一信号源与单一终点直接提供了单向互联。数字信号采用编码成8比特字(也可认为是10比特字)的二进制信息的形式。这些信号是:视频信号、定时基准信号和辅助信号。

      2)采集数据

      摄像头采集到的视频数据经过解码芯片进行A/D转换后得到的是4:2:2视频数据流。ITU解码模块将根据ITU656标准将4:2:2的数据流解码成ITU656标准视频流。ITU656并行接口除了传输4:2:2 YCbCr 视频流外,还有行、场同步所用的控制信号。PAL制式的图像525行,每秒扫描30帧,每行数据由1728字节的数据块组成。

      在下图16ITU656行数据结构图中,可以看到每行数据包含水平控制信号和YCbCr视频数据信号。视频数据信号字是以27mb/s的速率传输的,其顺序是:CbYCrYCbYCr….,其中CbYCr这三个字指的是同址的亮度和色差信号取样,后面的Y字对应于下一个亮度取样。每行开始的288字节为行控制信号,开始的4字节为EAV信号(有效视频结束),紧接着280固定填充数据,最后4字节的SAV信号(有效视频起始)。

              

                         16 ITU656行数据结构图

      SAVEAV信号有字节的前导:FF00EAV信号,提取HFV信号,然后发送00;最后字节XY表示该行位于整个数据帧的位始命令,同时开启行列计数器,开始对接下来的位置区分SAVEAV.在每个时钟的上升沿图像数据进行解码,读取从解码芯片传来的位数视频解码流程.若检测到一行信息,判断该数据为YCr还是Cb,得到数据的开始标志FF0000XY,从而检测到SAV信号YCrCb各分量的值.视频解码流程如图17所示.

                                                                    

                            17视频编码流程图

    6为定时基准信号格式.其中,F为场标志位,第一场为“0”,第二场为“1”;V“0”表示处于有效数据期,“1”表示处于场消隐期;H“0”,则为SAV信号,表示一个数据块的开始,“1”则是EAV信号,指示一个数据块的结束;P2、P1、P是保护比特位,其值取决于FHV的值.根据这个特征,接收模块可以建立状态机,仅当状态严格完成FFG00G00的转换才开始采集有效数据,送入SDRAM进行存储.

    6 定时基准信号格式表

    比特

    第一个字(FF

    第二个字(00

    第三个字(00

    第四个字(XY

    9

    1

    0

    0

    1

    8

    1

    0

    0

    F

    7

    1

    0

    0

    V

    6

    1

    0

    0

    H

    5

    1

    0

    0

    P3

    4

    1

    0

    0

    P2

    3

    1

    0

    0

    P1

    2

    1

    0

    0

    P0

    1

    1

    0

    0

    O

    0

    1

    0

    0

    O

    4,DDR2存储

    本系统使用的是SDRAM的输入输出缓存电路为FIFO结构,把SDRAM设置为4个端口模式,两个端口用于把FIFO的数据送入DDR2,另外两个端口用于把数据从DDR2中读到FIFO中。读和写操作采用的时钟频率不同,写用的是解码芯片的27MHz时钟,而读出采用VGA25MHz时钟。

    FPGADDR2进行控制时,首先是对DDR2的初始化进行配置,写寄存器,确定CAS的潜伏期、突发传输模式等,然后再经过激活命令激活对应地址的bank,同时输入行地址,最后通过读命令或者写命令输入列地址,将相应数据读出或写入对应的地址。DDR2的存储单元每隔一段时间刷新以保持数据稳定,否则数据丢失的可能性比较大。两个DDR2循环读写切换,分别为:在一帧时间内显示器接收的图形信号,它的产生是在同步信号(VS)经过二分频后,若VS为低电平,向一个DDR2中写入数据,反之从该DDR2中读取数据。在完成读写地址的信号切换后,数据输出切换也是必须的。

               

                                        图18 DDR2工作图

     

    5, VGALCD显示

    DDR2中存储的是4:2:2格式的视频数据,由于该格式视频的每个像素点都不包含色度分量和亮度分量,从中读取数据后,必须将格式转换成4:4:4的视频数据格式,因此转换后CbYCr是全面的。为了使得VGA显示器能够显示该视频,首先VGA使用的是RGB色彩空间,必须将数据经过从CbYCrRGB模块转换,其次是将之前转换好的YCbCr空间再次转换为RGB空间,再次输出到VGA控制器,在此过程中,输出24RGB数据到编码芯片ADC7123,输出的数据还包括VGA_HA\VGA_VS信号。

    6Sobel边沿检测的实现

      Sobel边沿检测算法是一种基于梯度的图像边沿检测方式,该算法在硬件上容易实现,且能够平滑一定的噪声,边沿检测效果较好。Sobel算子的边沿检测是在图像空间内利用2个方向模板与图像进行相邻卷积来完成的。这两个方向模板,一个为检测水平边沿,一个是检测垂直边沿。它们的方向梯度算子模板如下:

                                                   

                          19梯度算子图

     以模板内的数字为权重系数,与图像平面所对应的像素值相乘可以求出水平梯度X和垂直梯度Y,然后根据梯度计算公式可以求出梯度GXY各自平方的和的平方根。

    5、系统安装调试

    1. 一路视频信号采集显示

      从图2021中可以看到系统成功实现了视频图形采集和VGA显示,这里只截取了两个场景的图像。

           

                                 20单视频输入1                                                          21单视频输入2

    2. 4路视频信号采集显示

      通过图22232425可以清楚地看到整个系统的接线布局图,因为只有两个摄像头,所以只能采集到两个视频输入信号,因此在屏幕上只显示出来了两个窗口信息,另外两个窗口是蓝屏显示。在原理上实现了4路视频分割4分屏显示。

             

             22整体系统连接图              23 路视频输入4分屏显示1

             

               图24路视频输入4分屏显示2            25 实物连接图

    3. 边沿检测

              

                26未边沿检测图              27边沿检测1对比图

           从图26和图27中可以看到未边沿检测图形和边沿检测后的图形明显不同,可以看到在图27中有明显的边沿轮廓,即实现了Sobel算法的边沿检测功能。图2829是另外两个场景的边沿检测效果图。

               

                 28边沿检测2                      29 边沿检测3

    6、出现问题与解决方法

    1. I2C总线配置问题

      因为最开始对TW2867I2C总线配置没有按照I2C总线规范和标准时序来进行,所使用的时序关系跟图15中的时序关系不同。对SDASCL的变化规律不清除,不能把握数据传输的开始条件,也不能监控何时传输完成,因此对后面的工作产生影响。通过查阅TW2867芯片资料和网上搜集信息最后解决了这一问题。

    2. 寄存器配置问题

      对于TW2867寄存器配置存在问题,同样是对此芯片的寄存器地址设定的参数不符合系统要求,这些参数是通过I2C_cmd模块得出来的,总开始仅仅让I2C_ctr来控制产生I2C总线的时序,却忽视了I2C_cmd的配置的重要性。

    3. 下载电路驱动问题

      最开始连接不了开发板,因为USB的下载驱动没有安装上去,后来安装后得以成功将程序烧录到板子里,从而进行实验展示。

    4. 参数设定问题

      对视频输入信号的格式、经过TW2867处理后的格式不了解,因为要输出显示在VGA显示器上,中间视频信号从输入到显示整个过程中的信号的A/DD/A转换、编解码的状态不是特别清楚,以至于在有些参数设定的小问题上出现错误,另一方面对于解码芯片的时钟频率等出现模糊理解等问题,最后参考网上别人的示例才得以解决。

    5. 边沿检测算法的设计

      边沿检测算法有很多种类,比较常见的就是本系统中使用的那样,求水平和垂直分量的平方和的根,之前采用一种更复杂的算法,因为一些原因没能得以实现,巧合中看到有前辈使用这种简单算法进行边沿检测,同样也得出了比价不错的结果。

    7、总结

    基于FPGA的视频图像采集与处理系统相对于使用其他硬件进行处理的效果更好,有更多的优势,而且成本低、功耗低、信噪比高、电路集成度高、速度快且接口方便。本系统在设计的过程中,选用的芯片也是比较成熟的各类处理芯片,特别是FPGA是使用ALTERA公司的CYCLONE IV系列的EP4CE30F23C6这款开发的高性能核心板,适合视频图像处理和高速数据采集等方面使用。基于FPGA的视频图像处理可以为嵌入式系统开发、人脸识别技术的产品化、无线视频传输等应用提供了一定的参考价值。本系统是完成一个基本的显示功能和边沿检测算法的实现,虽然简单但也涉及到使用FPGA进行图像处理的各个方面,为以后的研究有一定的引导作用,适合深入地研究下去,结合数字图像处理、人脸识别等图像技术在将来会有更好的工程实践效果。

    8、附件

    8.1原理图(用Protel制作)

                                

               ADV7123原理图                      FPGA原理图

                                          

                              DDR2原理图

    8.2程序清单

    Sobel算法重点程序

    Sobel Sobel_m0(

     .iCLK(vga_out_clk),

     .iRST_N(rst_n),

     .iTHRESHOLD(8'd50),

     .iDVAL(ch0_vout_rd_req_d1),

     .iDATA({ch0_vout_ycbcr[23:16],2'd0}),

     .oDVAL(),

     .oDATA(Sobel_data)

    );

    8.3程序清单

    采集视频信号程序

    video_pro#(.MEM_DATA_BITS(MEM_DATA_BITS))video_pro_m0(

          .rst_n(1'b1),

          .vin_pixel_clk(cvbs_in_clkn),

          .vin_vs(ch0_vs),

          .vin_f(ch0_f),

          .vin_pixel_de(ch0_de),

          .vin_pixel_yc(ch0_yc_data),

          .vin_scaler_clk(phy_clk),

          .vin_s_width(12'd720),

          .vin_s_height(12'd576),

          .clipper_left(12'd0),

          .clipper_width(12'd720),

          .clipper_top(12'd0),

          .clipper_height(12'd576),

          .vin_t_width(12'd720),

          .vin_t_height(12'd576),

          .vin_K_h(16'h0100),

          .vin_K_v(16'h0100),

          .vout_pixel_clk(vga_out_clk),

          .vout_vs(vga_out_vs),

          .vout_pixel_rd_req(ch0_vout_rd_req),

          .vout_pixel_ycbcr(ch0_vout_ycbcr),

          .vout_scaler_clk(vga_out_clk),

          .vout_s_width(12'd720),

          .vout_s_height(12'd576),

          .vout_t_width(12'd720),

          .vout_t_height(12'd576),

          .vout_K_h(16'h0100),

          .vout_K_v(16'h0100),

          ///////////mem

          .mem_clk(phy_clk),

          .wr_burst_req(ch0_wr_burst_req),

          .wr_burst_len(ch0_wr_burst_len),

          .wr_burst_addr(ch0_wr_burst_addr),

          .wr_burst_data_req(ch0_wr_burst_data_req),

          .wr_burst_data(ch0_wr_burst_data),

          .wr_burst_finish(ch0_wr_burst_finish),

          .rd_burst_req(ch0_rd_burst_req),

          .rd_burst_len(ch0_rd_burst_len),

          .rd_burst_addr(ch0_rd_burst_addr),

          .rd_burst_data_valid(ch0_rd_burst_data_valid),

          .rd_burst_data(ch0_rd_burst_data),

          .rd_burst_finish(ch0_rd_burst_finish),

          .base_addr(2'd0)

    );

    4分屏显示重要程序

    vout_display_pro vout_display_pro_m0(

          .rst_n(rst_n),

          .dp_clk(vga_out_clk),

          .h_fp(H_FP[11:0]),

          .h_sync(H_SYNC[11:0]),

          .h_bp(H_BP[11:0]),

          .h_active(H_ACTIVE[11:0]),

          .h_total(H_TOTAL[11:0]),

          .v_fp(V_FP[11:0]),

          .v_sync(V_SYNC[11:0]),

          .v_bp(V_BP[11:0]),

          .v_active(V_ACTIVE[11:0]),

          .v_total(V_TOTAL[11:0]),

          .hs(vga_out_hs),

          .vs(vga_out_vs),

          .de(vga_out_de),

          .rgb_r(vga_out_rgb_r),

          .rgb_g(vga_out_rgb_g),

          .rgb_b(vga_out_rgb_b),

          .layer0_top(12'd0),

          .layer0_left(12'd240),

          .layer0_width(12'd720),

          .layer0_height(12'd576),

          .layer0_alpha(8'hff),

          .layer0_rdreq(ch0_vout_rd_req),

          .layer0_ycbcr(ch0_vout_ycbcr),

          .layer1_top(12'd0),

          .layer1_left(12'd960),

          .layer1_width(12'd720),

          .layer1_height(12'd576),

          .layer1_alpha(8'hff),

          .layer1_rdreq(ch1_vout_rd_req),

          .layer1_ycbcr(ch1_vout_ycbcr),

          .layer2_top(12'd576),

          .layer2_left(12'd240),

          .layer2_width(12'd720),

          .layer2_height(12'd576),

          .layer2_alpha(12'hff),

          .layer2_rdreq(ch2_vout_rd_req),

          .layer2_ycbcr(ch2_vout_ycbcr),

          .layer3_top(12'd576),

          .layer3_left(12'd960),

          .layer3_width(12'd720),

          .layer3_height(12'd576),

          .layer3_alpha(12'hff),

          .layer3_rdreq(ch3_vout_rd_req),

          .layer3_ycbcr(ch3_vout_ycbcr)

    );

    参考文献

    [1]王诚,蔡海宁,吴继华AlteraFPGA/CPLD设计(基础篇)[M]2北京:人民邮电出版社,2011:5058

    [2]夏良正数字图像处理[M]南京:东南大学出版社,1999:154 160.

    [3]姜勇.基于FPGA的实时图像处理系统的研究:[硕士学位论文].长春:长春理工大学,2003

    [4]张永军.基于FPGA的图像处理系统设计与算法实现研究[D],重庆大学,2006

    [5]万鸣华.基于FPGA的图像处理加速研究[D],南京理工大学,2007

    [6]阮秋琦.数字图像处理学(第二版)[M].北京,电子工业出版社,2007

    [7]龚声蓉,刘纯平,王强等.数字图像处理与分析[M],北京,清华大学出版社,2006

    [8]蒋立东.VHDL语言程序设计及应用.北京:北京邮电大学出版社,2001.8

    [9]刘文英,刘艳彬.基于FPGA的视频图像预处理系统的设计与实现。科技信息,2011,23:41-42

    [10]邵应昭,任爱峰,初秀琴.基于FPGA的视频监控系统.电子元件器应用,2010,1212):24-26

    [11]张海青.基于FPGA图像处理系统的关键算法研究及硬件实现:[硕士学位论文].江苏:江苏大学,2005

    [12]孙伟.基于FPGA的图像分割提取系统研究:[硕士学位论文].南京:南京航空航天大学,2010

    [13]相恒伟.基于FPGACCD工业相机的研究与开发:[硕士学位论文].江苏:江南大学

     

     

    展开全文
  • 主要教学内容:遥感数字图像处理的概念和基础知识,遥感数字图像的几何处理,遥感图像的辐射校正,遥感数字图像的增强处理,遥感图像的计算机分类,遥感数字图像的分析方法,遥感图像处理软件的使用。 预备...

    第一章   绪 论

    课程学习要求

    1. 主要教学内容:遥感数字图像处理的概念和基础知识,遥感数字图像的几何处理,遥感图像的辐射校正,遥感数字图像的增强处理,遥感图像的计算机分类,遥感数字图像的分析方法,遥感图像处理软件的使用。
    2. 预备知识:遥感技术基础、线性代数、概率论、计算机技术基础
    3. 课程体系从“遥感图像处理系统”这个高度出发建立,而讲授重点在遥感图像的计算机处理思想与方法 。

    学习方法

    1. 理论
    2. 实验
    3. 实践
    4. 阅读

    1.1 何谓数字图像处理

    1.1.1 图像的概念

    图像(image)是对客观存在的物体的一种相似性的、生动的写真或描述。在一般的意义下,可以认为一幅图像就是一个东西的一个表示,它包含了所表示物体的相关描述信息,出现形式多种多样:

    • 可视的和不可视的;
    • 抽象的和实际的;
    • 适于和不适于计算机处理的。

    1.1.2 图像的类别

    1、按照图像的存在形式分

    (1)“物理图像” (physical images)

          物质或能量的实际分布

    • “可见的图像”(visible image),人眼可以看到并接受的图像,如“图片” (picture),包括“照片” (photograph)、“图” (drawings指用线条画成的)和“画” (paintings), “图片”等价于“图像”,也就是说“picture”经常和“image”一词混用;“光图像” (optical images),即用透镜、光栅和全息术产生的图像,如荧幕、屏幕上出现的影像。光(学)图像是光强度的空间分布。
    • “不可见的图像”,如温度、压力、高度以及人口密度等的分布图。

    (2)抽象图像,即“数学图像”,包括连续函数和离散函数。离散函数图像就是计算机可以处理的形式。物理图像必须要变成离散函数才能被计算机处理。

    2、按照图像的色彩特性分

    1. 彩色图像,又称为“多光谱图像”,图像上的每个点有多于一个的局部特征。如在彩色电视中重现的三基色图像,每个像素点就需要有红、绿、蓝三个基色的三个亮度值表示。而遥感图像可以提供多个不同通道的信息(TM达7 个,高光谱上百个,超波段图像)。
    2. 黑白图像,又称“灰度图像”、“亮度图像”、“单色图像”等,每个像素点只有一个亮度值。例如黑白照片、黑白电视画面。

    3、按照图像的光谱特性分

    1. “可见光图像”;
    2.  “红外光图像”;
    3.  “雷达图像”;
    4.  “声纳图像”。

    4、按照图像的时间特性分

    1. “动态图像”
      • 随时间变化的图像,如电视和电影画面。
    2. “静止图像”
      • 不随时间变化的图像,如各类图片。

    5、按图像的明暗程度和空间坐标的连续性分

    1.1.2 图像信息的分类

    1. 三类
      • 符号信息
      • 景物信息
      • 情绪信息

    1.1.4 数字图像处理的几个基本术语

    1. 数字化(digitizing)
      • 将一幅图像从其原来的形式转换为数字形式的处理过程,包括“扫描”、“采样”与“量化”三个步骤,但通常将“扫描”合并到“采样”阶段,合并为两个过程。

    扫描(scanning

    1. 将一个数学虚拟网格覆盖在一幅图像上,图像的平面空间被离散化成一个个的有序的格子(格子的形式可以有多种形式,通常易于物理实现的是矩形,且每个格子完全相同),然后按照格子的排列顺序依次读取图像的信息,此读取过程称为“扫描”。在扫描过程中被读取的小块图像称为图像元素(picture element),简称像素(pixel),它的描述包括空间坐标以及图像信息两个部分。不太严格的情况下,扫描也可以用作数字化的等价词。矩形扫描网格常称为光栅(raster)。

    采样(sampling)

    1. 在一幅图像的每个像素位置上测量灰度值。
    2. 采样通常是由一个图像传感元件完成,它将每个像素处的亮度转换成与其成正比的电压值。采样完成图像空间的数字化,在CCD摄像机中,是由一个个感光单元实现的。
    3. 图像数字化时必须遵守“采样定理”,才能保证图像可恢复。

    量化(quantization)

    1. 将采样时测量的灰度值转化成整数表示。
    2. 由于数字计算机只能处理数字,因此必须将连续的测量值转化为离散的整数。因此在图像传感器后面,经常跟随一个电子线路的模数转换器(ADC),将电压值转化成一个整数。

     

    1. 经过数字化得到一幅图像的数字表示,即数字图像f(x,y), f(x,y)以及x、y都是整数。
    2. 一幅数字图像中不同灰度值的个数称为灰度级数,用G表示。

                 一般来说,               ,g就是表示图像像素灰度值所需的比特位数。

    量化参数与数字化图像间的关系:

       数字化方式可分为均匀采样、量化和非均匀采样、量化。所谓“均匀”,指的是采样、量化为等间隔。图像数字化一般采用均匀采样和均匀量化方式。

        非均匀采样是根据图象细节的丰富程度改变采样间距。细节丰富的地方,采样间距小,否则间距大。

        非均匀量化是对像素出现频度少的间隔大,而频度大的间隔小。

        采用非均匀采样与量化,会使问题复杂化,因此很少采用。

        一般来说,采样间隔越大,所得图像像素数越少,空间分辨率低,质量差,严重时出现像素呈块状的国际棋盘效应;采样间隔越小,所得图像像素数越多,空间分辨率高,图像质量好,但数据量大。

    量化等级越多,所得图像层次越丰富,灰度分辨率高,图像质量好,但数据量大; 量化等级越少,图像层次欠丰富,灰度分辨率低,会出现假轮廓现象,图像质量变差,但数据量小。但在极少数情况下对固定图像大小时,减少灰度级能改善质量,产生这种情况的最可能原因是减少灰度级一般会增加图像的对比度。例如对细节比较丰富的图像数字化。

    几个重要概念

    1. 1、处理:让某个事物受到一个过程的作用
    2. 2、过程( process ):指能导致某个所期望目标的一系列的动作或操作。
    3. 3、数字图像处理:对一个物体的数字表示施加一系列的操作,以得到所期望的结果。
    4. 4、数字图像的限制性定义:一个被采样和量化后的二维函数(该二维函数由光学方法产生),采用等距离矩形网格采样,对幅度进行等间隔量化。因此,一幅数字图像是一个被量化的采样数值的二维矩阵。
    5. 6、显示(display):由一幅数字图像生成一可见的、直观的图像。类似概念有“回放”、“图像重建”、“硬拷贝”、“图像记录”。显示设备有暂时的、永久的两类。
    6. 10、对比度(contrast):一幅图像中灰度反差的大小。
    7. 11、噪声(noise):加性的或乘法性的污染。
    8. 12、采样密度(sampling density):图像上单位长度包含的采样点数。

           像素间距(pixel spacing)=1/采样密度

    1. 13、放大率(magnification):图像中物体与其所对应的景物中物体的比例关系。
    2. 14、运算(operation):注意运算前后图像之间的对应关系。
      • (1)全局运算:对整幅图像同时处理
      • (2)点运算:由对应点决定
      • (3)局部运算:由中心像素周围的有关像素决定

    采样定理(sampling theorem

    采样过程所应遵循的规律,又称取样定理、抽样定理。采样定理说明采样频率与信号频谱之间的关系,是连续信号离散化的基本依据。采样定理是1928年由美国电信工程师H.奈奎斯特首先提出来的,因此称为奈奎斯特采样定理。1933年由苏联工程师科捷利尼科夫首次用公式严格地表述这一定理,因此在苏联文献中称为科捷利尼科夫采样定理。1948年信息论的创始人C.E.香农对这一定理加以明确地说明并正式作为定理引用,因此在许多文献中又称为香农采样定理。采样定理有许多表述形式,但最基本的表述方式是时域采样定理和频域采样定理。采样定理在数字式遥测系统、时分制遥测系统、信息处理、数字通信和采样控制理论等领域得到广泛的应用。

    时域采样定理  频带为F的连续信号 f(t)可用一系列离散的采样值f(t1),f(t1±Δt),f(t1±2Δt),...来表示,只要这些采样点的时间间隔Δt≤1/2F,便可根据各采样值完全恢复原来的信号f(t)。

    1.2 数字图像处理技术

    1. 广义的数字图像处理是指从图像获取到图像信息输出的全过程,即图像处理系统,包括与计算机应用相关的设备、图像处理相关的方法,以及有效软件的实现、图像处理软件的应用、图像信息在计算机中的表示、图像数据库及检索、图像信息应用等。
    2. 狭义的数字图像处理仅指其中对图像信息进行处理。

    广义图像处理

    1. 图像信息获取,即获取研究对象的图像,并转换成数字信号,以便于计算机或其它数字设备处理。这一阶段的研究重点是图像成像设备和数字化设备等。
    2. 图像信息的存储。图像的数据量巨大,因此研究的领域包括图像存储设备,以及图像存储的格式、图像压缩标准以及图像数据库技术等。
    3. 图像信息的传送,包括内部传送与远距离传送。内部传送多采用DMA(Direct  Memory   Access)技术解决速度问题;远距离传送同样需要研究图像压缩技术,减少占用带宽。
    4. 图像信息处理,即狭义的图像处理,主要研究利用计算机可以实现的算法。
    5. 图像的输出与显示,即为人或计算机提供便于理解以及识别的图像。图像的输出有软拷贝与硬拷贝两种形式。

    狭义的计算机图像处理

    1. 几何处理
      • 主要包括坐标变换,图像的放大与缩小、旋转、移动
      • 图像畸变校正
      • 几何特征计算等。
    2. 算术与逻辑运算
      • 图像的加减乘除,与或非等运算
      • 此类运算既简单有效,又是其它处理的基础。
    3. 图像增强
      • 根据任务目标突出图像中感兴趣的信息,消除干扰,改善图像的视觉效果或增强便于机器识别的信息
    4. 此三项是图像预处理中常涉及的内容。
    5. 图像复原
      • 根据图像退化模型,消除退化因素,恢复原始的图像。如散焦是造成图像模糊的一个重要的因素,而散焦模型可以通过实验数据和理论分析获得,利用逆滤波就可以消除散焦。
    6. 图像编码
      • 研究压缩图像数据的方法,需要研究并利用图像的冗余特征,如统计冗余、生理视觉冗余、知识冗余等。
    7. 图像分割
      • 根据图像的某些特征将图像划分为不同的区域,以便于对图像中的物体或目标进行分析与识别。如“机动车视觉系统”中根据图像中的灰度信息分割白色导引线和路面。
    8. 图像重建
      • 前面六个研究方面输入的是图像,而图像重建输入的是非图像信息,如数据、公式等,输出为图像。主要有卷积反投影法等。常用于医学设备,CT等
    9. 图像模式识别
      • 在图像分割的基础上提取特征,对图像中的内容进行判决分类。
    10. 图像分析与理解
      • 在图像模式识别的基础上进一步发展,根据图像局部内容之间的关系,利用有关知识进行推理与联想,对图像中所表现的内容进行理解。

    具体而言,遥感数字图像处理的内容包括:

    图像的数字化(digitizing

    扫描(scanning):对一幅图像内给定位置的寻址。矩形扫描网格常称为光栅。

    采样(sampling):在一个图像的每个像素位置上测量灰度值。

    量化(quantization):将一个测量的灰度值用一个整数表示

    图像变换

          图像变换目的在于:处理问题简化、有利于特征提取、加强对图像信息的理解。

          图像变换算法很多,重点学习傅立叶变换的算法、性质和应用。

    图像增强

    介绍各种增强方法及其应用。增强图像的有用信息,消弱噪声的干扰。

    图像的恢复与重建

    把退化、模糊了的图像复原.包括图像辐射和几何校正等内容;由断层扫描重建二、三维图像。

    图像编码

           简化图像的表示,以压缩图像的数据,便于存储和传输。

    图像分割

          图像分割是指将一幅图像划分为互不重叠的区域的处理。重点介绍图像分割的方法及其应用。

    二值图像处理与形状分析

            介绍二值图像的几何概念、二值图像连接成分的各种变形算法和二值图像特征提取与分析的各种方法。

    纹理分析

       主要介绍影像纹理的概念及其特征提取与分析的一些方法与应用。

    图像识别

           对图像中的不同对象进行分类、描述和解译。

    3、数字图像处理的显著成就

    1. 从可见光谱扩展到各波段:
      • 如遥感图像的多光谱处理、雷达波段的侧视雷达遥感图像处理、红外波段的图像处理(如夜视仪、热像仪等)、超声图像处理。
    2. 从静止图像到运动图像的处理:
      • 如运动模糊图像的恢复、心脏搏动序列图像的处理、对运动目标的跟踪、巡航导弹的地形识别及瞄准等。
    3. 从物体的外部到物体的内部图像的处理:
      • 如人体的无损检测设备CT及宇航用密封零件的无损检测、海关用的集装箱不开箱检查等。
    4. 从整体到局部图像的处理(AOI技术):
      • 有选择性地对人类感兴趣的局部图像进行处理,如空间、灰度、颜色、频域都可以开窗口进行加工处理(如放大、变换、校正等)。
    5. 提取图像中特征的处理:
      • 从图像中抽出感兴趣的区域、物体以特征的形式表现出来,以便计算机识别控制。
    6. 人工智能化的图像处理:
      • 用计算机去理解图像,并进行景物分析,即计算机视觉系统,如机动车自动驾驶系统和机器人的视觉操纵系统等

    4、数字图像处理的学科特点

    因此图像处理技术不仅是融合多学科的新兴学科,而且是工程性很强的学科。

    计算机应用,涉及的领域包括数学、物理学、生物学以及生理学等基础学科,又在电子技术、计算机科学、信息理论、医学、控制理论以及系统工程等应用学科新成就的促进下迅速发展。图像系统与研究目标密切相关,需针对不同应用、不同要求采用不同的方法、构建不同的系统。图像处理是一门年轻的、充满活力的交叉学科,并随着计算机技术、认知科学、神经网络技术以及数学理论的新成果,如数学形态学、小波分析、分形理论的发展,以及其它相关领域的最新成就而飞速发展着。

    几个学科之间的关系

    1. 数字图像处理(process):图像~图像
    2. 数字图像分析(analysis):图像~非图像的表示
    3. 计算机图形学(computer graphics):用计算机将由概念或数学模型表示的物体(不是实物)进行处理,并显示成图像。
    4. 计算机视觉(computer vision):研究模拟人眼功能的理解自然景物的系统。
    5. 数字成像(digital imaging):更广义的一个概念,涵盖任何用计算机来操作(manipulate)与图像有关数据的技术,包括计算机图形学、计算机视觉、数字图像处理与分析。

    几个当今热点的研究方向

    1. 1)因特网上的图像检索
    2. 2)图像在网上的传输
    3. 3)图像的安全技术
    4. 4)图像的处理技术
    5. 5)图像的自动识别
    6. 6)图像作为检测手段的一种
    7. 7)其它视频方面的研究与需求

     

    遥感图像处理软件

    ERDAS IMAGINE

    ERDAS 公司创建于1978 年,总部设在美国佐治亚州的亚特兰大市。目前ERDAS 公司已经发展成为世界上最大的专业遥感图像处理软件公司,全球用户遍布100 多个国家,软件套数超过了60,000 套,市场占有率为46%,在全球遥感处理软件市场排名第一,在GIS 软件市场排名第九。在美国国家影像制图局(NIMA)等权威机构组织的历经5年的Passfind 项目遥感影像系统评比当中,在十一个项目评比中获得九个项目第一,最终综合功能性价比名列第一,在三维可视化分析领域更是在功能与理念上一路领先。自2002 年年中在得到Leica 公司的资金支持后,ERDAS IMAGINE 软件的发展步伐更加有利与快捷,更多的新功能与算法加进到新版本中,一系列的举措不仅仅使用户的当前投资得到充分发挥,也得到了未来产品发展的保护。

    ERDAS 软件处理技术覆盖了图像数据的输入/输出,图像增强、纠正、数据融合以及各种变换、信息提取、空间分析/建模以及专家分类、ArcInfo 矢量数据更新、数字摄影测量与3 维信息提取,硬拷贝地图输出(在3 维景观的绘图输出更是达到了所见即所得的清晰大数量的纸质图)、雷达数据处理、3 维立体显示分析。IMAGINE 软件可支持所有的UNIX 系统,以及PC 机的Microsoft Windows2000Professional (需Pack 2),Windows XP Professional 操作系统。其应用领域包括:科研、环境监测、气象、石油矿产勘探、农业、医学、军事(数字地理战场,解译等)、电讯、制图、林业、自然资源管理、公用设施管理、工程、水利、海洋,测绘勘察和城市与区域规划等。通过与著名的GIS 厂商ESRI 公司的战略合作,ERDAS 公司在与GIS 完整集成的IMAGINE系列软件之外,同时开发基于ArcView GIS V8.x 的图像分析模块——Image Analysis 和Stereo Analyst 两个扩展模块,向用户提供GIS/RS 一体化的解决方案。

    *ERDAS IMAGINE产品套件:它是一个用于影象制图、影象可视化、影象处理和高级遥感技术的完整的产品套件。

    *ERDAS IMAGINE扩展模块:ERDAS IMAGINE是以模块化的方式提供给用户的,可使用户根据自已的应用要求、资金情况合理地选择不同功能模块及其不同组合,对系统进行剪裁,充分利用软硬件资源,并最大限度地满足用户的专业应用要求。

    *ArcGIS Extensions:它是为ArcGIS用户提供的一个使用方便的地理影象分析和处理功能的扩展模块。

    目前的版本:ERDAS 2011(11.0)

    网址:http://www.erdas.com/Homepage.aspx

     

     

     

     

     

     

     

    展开全文
  • Roberts算子边缘检测 ...由于图像是二维的,而目标实物是三维的,从三维到二维的投影,已经造成了信息的丢失,再加上成像过程受光照、噪声的影响,使得有边缘的地方不一定被检测出来,而检测出来的边缘也不一定代表实
  • 一、图像及其类型 图像(image)的定义是:在一般意义下,一幅图像是一个物体或对象(object)的另一种表示。亦即图像是其所表示物体或对象信息的一个直接描述和浓缩表示。...数字图像处理(digital image pro...
  • 图像处理软件 灰度直方图 点运算 代数运算 集合运算 线性系统理论 傅立叶变换 滤波器设计 采样数据的处理 离散图像变换 小波变换 光学和系统分析 图像复原 图像压缩 模式识别:图像分割 模式识别:物
  • 图像抗锯齿技术

    2019-06-17 18:51:04
    由于在3D图像中,受分辨的制约,物体边缘总会或多或少的呈现三角形的锯齿,而抗锯齿就是指对图像边缘进行柔化处理,使图像边缘看起来更平滑,更接近实物的物体。它是提高画质以使之柔和的一种方法。如今最新的全屏抗...
  • 1.2 数字图像处理概述 ⦁ 数字图像处理的三个部件是:处理图像的计算机、图像数字化仪和图像显示设备。 ⦁ 物理图像被划分为称作图像元素(picture element)的小区域,图像元素简称为像素。 ⦁ 图像转化的过程称为...
  • 三个数据集是三个层次:MNIST数据集是灰度图像,不考虑结构信息,实现简单,精度很高;SIFAR-10数据集升级到RGB图像,考虑结构信息,用卷积神经网络实现分类;flower数据集是对一种植物的不同类别进行分类,难度更大...
  • 对图像或者视频进行去噪的研究一直以来都是计算机视觉和图像处理领域内的一个重要课题。特别是在现实生活中,因为雨或者雪会对道路上的路况造成一定程度的遮挡,驾驶车辆行驶在下大雨或大雪的恶劣天气下是非常危险的...
  • 数学,计算机视觉,图形图像处理 从一幅图像中无法测出物体的长度,因为缺乏参照物,但可以测出两个平行物体的长度比例。如果已知一个物体的实际大小(比如在图片中放上一枚1元硬币或者知道某个柜子有多高),那么就...
  • 对图片或者视频进行去噪的研究一直以来都是计算机视觉和图像处理领域内的一个重要课题。在现实生活中,因为雨雪会对道路上的路况造成一定程度的遮挡,驾驶车辆行驶在下大雨或大雪的恶劣天气下是非常危险的;不仅如此...
  • F:镜头的焦距 D:有效光圈孔径 C:可允许弥散圆直径 u:物距 v:像距 透镜成像公式: 1/F = 1/V+ 1/U ==&gt; V= FU/(U-F) V1 = FU1/(U1-F) V2 = FU2/(U2-F) 同时可以从成像光路上面可以看到,U1代表前景深,U2...
  • 计算机视觉实际上是一个跨领域的交叉学科,包括计算机科学(图形、算法、理论、系统、体系结构),数学(信息检索、机器学习),工程学(机器人、语音、自然语言处理、图像处理),物理学(光学 ),生物学(神经...
  • 摄像头工作原理

    2014-07-29 09:40:37
     摄像头的工作原理大致为:景物通过镜头(LENS)生成的光学图像投射到图像传感器表面上,然后转为电信号,经过A/D(模数转换)转换后变为数字图像信号,再送到数字信号处理芯片(DSP)中加工处理,再通过USB接口传输到...
  • 编者按:本书节选自图书《机器学习之路——Caffe、Keras、scikit-learn实战》,高深的数学理论,复杂的算法又让很多机器学习入门者忘而...本文将探索深度学习落地到图像处理领域的方案,适合有一定深度学习实践经验的
  • 文档扫描管理软件具有复印机功能,传真机功能,实物投影机功能,实物拍摄功能,视频录像功能,视频通讯功能,文件扫描与存盘功能,电子邮件功能,图像处理功能。 文档扫描管理软件功能: 1 复印机功能:所见就有...
1 2 3 4 5 ... 20
收藏数 1,107
精华内容 442