图像处理与分析试卷

2018-10-07 20:16:22 jiaoyangwm 阅读数 6044

文章目录

1、给定0-1矩阵,求连通域。

二值图像分析最重要的方法就是连通区域标记,它是所有二值图像分析的基础,它通过对二值图像中白色像素(目标)的标记,让每个单独的连通区域形成一个被标识的块,进一步的我们就可以获取这些块的轮廓、外接矩形、质心、不变矩等几何参数。

连通域:在图像中,最小的单位是像素,每个像素周围有8个邻接像素,常见的邻接关系有2种:4邻接与8邻接。

如果A与B连通,B与C连通,则A与C连通。在视觉上看来,彼此连通的点形成了一个区域,而不连通的点形成了不同的区域。这样的一个所有的点彼此连通点构成的集合,我们称为一个连通区域。

L = bwlabel(BW,n)

2、写一个函数,求灰度图的直方图。

3、写一个均值滤波(中值滤波)。

4、写出高斯算子,Sobel算子,拉普拉斯算子等,以及它们梯度方向上的区别。

  • sobel算子:

其主要用于边缘检测,在技术上它是以离散型的差分算子,用来运算图像亮度函数的梯度的近似值, Sobel算子是典型的基于一阶导数的边缘检测算子,由于该算子中引入了类似局部平均的运算,因此对噪声具有平滑作用,能很好的消除噪声的影响。Sobel算子对于象素的位置的影响做了加权,与Prewitt算子、Roberts算子相比因此效果更好。Sobel算子包含两组3x3的矩阵,分别为横向及纵向模板,将之与图像作平面卷积,即可分别得出横向及纵向的亮度差分近似值。缺点是Sobel算子并没有将图像的主题与背景严格地区分开来,换言之就是Sobel算子并没有基于图像灰度进行处理,由于Sobel算子并没有严格地模拟人的视觉生理特征,所以提取的图像轮廓有时并不能令人满意。

  • Roberts算子:

Roberts算子 罗伯茨算子、Roberts算子是一种最简单的算子,是一种利用局部差分算子寻找边缘的算子,他采用对角线方向相邻两象素之差近似梯度幅值检测边缘。检测垂直边缘的效果好于斜向边缘,定位精度高,对噪声敏感,无法抑制噪声的影响。1963年,Roberts提出了这种寻找边缘的算子。Roberts边缘算子是一个2x2的模板,采用的是对角方向相邻的两个像素之差。从图像处理的实际效果来看,边缘定位较准,对噪声敏感。适用于边缘明显且噪声较少的图像分割。Roberts边缘检测算子是一种利用局部差分算子寻找边缘的算子,Robert算子图像处理后结果边缘不是很平滑。经分析,由于Robert算子通常会在图像边缘附近的区域内产生较宽的响应,故采用上述算子检测的边缘图像常需做细化处理,边缘定位的精度不是很高。

  • prewitt算子:

Prewitt算子 Prewitt算子是一种一阶微分算子的边缘检测,利用像素点上下、左右邻点的灰度差,在边缘处达到极值检测边缘,去掉部分伪边缘,对噪声具有平滑作用 。其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的,这两个方向模板一个检测水平边缘,一个检测垂直边缘。经典Prewitt算子认为:凡灰度新值大于或等于阈值的像素点都是边缘点。即选择适当的阈值T,若P(i,j)≥T,则(i,j)为边缘点,P(i,j)为边缘图像。这种判定是欠合理的,会造成边缘点的误判,因为许多噪声点的灰度值也很大,而且对于幅值较小的边缘点,其边缘反而丢失了。Prewitt算子对噪声有抑制作用,抑制噪声的原理是通过像素平均,但是像素平均相当于对图像的低通滤波,所以Prewitt算子对边缘的定位不如Roberts算子。因为平均能减少或消除噪声,Prewitt梯度算子法就是先求平均,再求差分来求梯度。该算子与Sobel算子类似,只是权值有所变化,但两者实现起来功能还是有差距的,据经验得知Sobel要比Prewitt更能准确检测图像边缘

  • Laplace算子:

Laplacian算子Laplace算子是一种各向同性算子,二阶微分算子,在只关心边缘的位置而不考虑其周围的象素灰度差值时比较合适。Laplace算子对孤立象素的响应要比对边缘或线的响应要更强烈,因此只适用于无噪声图象。存在噪声情况下,使用Laplacian算子检测边缘之前需要先进行低通滤波。所以,通常的分割算法都是把Laplacian算子和平滑算子结合起来生成一个新的模板。拉普拉斯算子也是最简单的各向同性微分算子,具有旋转不变性。一个二维图像函数的拉普拉斯变换是各向同性的二阶导数。拉式算子用来改善因扩散效应的模糊特别有效,因为它符合降制模型。扩散效应是成像过程中经常发生的现象。Laplacian算子一般不以其原始形式用于边缘检测,因为其作为一个二阶导数,Laplacian算子对噪声具有无法接受的敏感性;同时其幅值产生算边缘,这是复杂的分割不希望有的结果;最后Laplacian算子不能检测边缘的方向;所以Laplacian在分割中所起的作用包括:(1)利用它的零交叉性质进行边缘定位;(2)确定一个像素是在一条边缘暗的一面还是亮的一面;一般使用的是高斯型拉普拉斯算子(Laplacian of a Gaussian,LoG),由于二阶导数是线性运算,利用LoG卷积一幅图像与首先使用高斯型平滑函数卷积改图像,然后计算所得结果的拉普拉斯是一样的。所以在LoG公式中使用高斯函数的目的就是对图像进行平滑处理,使用Laplacian算子的目的是提供一幅用零交叉确定边缘位置的图像;图像的平滑处理减少了噪声的影响并且它的主要作用还是抵消由Laplacian算子的二阶导数引起的逐渐增加的噪声影响。

  • Canny算子:

Canny算子Canny算子是一个具有滤波,增强,检测的多阶段的优化算子,在进行处理前,Canny算子先利用高斯平滑滤波器来平滑图像以除去噪声,Canny分割算法采用一阶偏导的有限差分来计算梯度幅值和方向,在处理过程中,Canny算子还将经过一个非极大值抑制的过程,最后Canny算子还采用两个阈值来连接边缘。边缘提取的基本问题是解决增强边缘与抗噪能力间的矛盾,由于图像边缘和噪声在频率域中同是高频分量,简单的微分提取运算同样会增加图像中的噪声,所以一般在微分运算之前应采取适当的平滑滤波,减少噪声的影响。Canny运用严格的数学方法对此问题进行了分析,推导出由# 个指数函数线性组合形式的最佳边缘提取算子网,其算法的实质是用一个准高斯函数作平滑运算,然后以带方向的一阶微分定位导数最大值,Canny算子边缘检测是一种比较实用的边缘检测算子,具有很好的边缘检测性能。Canny边缘检测法利用高斯函数的一阶微分,它能在噪声抑制和边缘检测之间取得较好的平衡。

  • Laplacian of Gaussian 算子:

Laplacian of Gaussian(LoG)算子 利用图像强度二阶导数的零交叉点来求边缘点的算法对噪声十分敏感,所以,希望在边缘增强前滤除噪声.为此,将高斯滤波和拉普拉斯边缘检测结合在一起,形成LoG(Laplacian of Gaussian, LoG)算法,也称之为拉普拉斯高斯算法.LoG边缘检测器的基本特征是: 平滑滤波器是高斯滤波器.增强步骤采用二阶导数(二维拉普拉斯函数).边缘检测判据是二阶导数零交叉点并对应一阶导数的较大峰值.使用线性内插方法在子像素分辨率水平上估计边缘的位置.这种方法的特点是图像首先与高斯滤波器进行卷积,这一步既平滑了图像又降低了噪声,孤立的噪声点和较小的结构组织将被滤除.由于平滑会导致边缘的延展,因此边缘检测器只考虑那些具有局部梯度最大值的点为边缘点.这一点可以用二阶导数的零交叉点来实现.拉普拉斯函数用作二维二阶导数的近似,是因为它是一种无方向算子.为了避免检测出非显著边缘,应选择一阶导数大于某一阈值的零交叉点作为边缘点.

5、常用的特征提取方法。

6、常用的目标检测方法。

7、常用的边缘提取方法。

8、常用的插值方法。

9、常用的图像分割算法。

10、写一个图像resize函数(放大和缩小)。

11、彩色图像、灰度图像、二值图像和索引图像区别?(索引图像到底是啥?)

**彩色图像:**每个像素通常是由红(R)、绿(G)、蓝(B)三个分量来表示的,分量介于(0,255)

**灰度图像:**是每个像素只有一个采样颜色的图像,这类图像通常显示为从最暗黑色到最亮的白色的灰度,尽管理论上这个采样可以任何颜色的不同深浅,有256个灰度级。

**二值图像:**即一幅二值图像的二维矩阵仅由0、1两个值构成,“0”代表黑色,“1”代白色。

**索引图像:**除了存放图像的二维矩阵外,还包括一个称之为颜色索引矩阵MAP的二维数组。MAP的大小由存放图像的矩阵元素值域决定,如矩阵元素值域为[0,255],则MAP矩阵的大小为256Ⅹ3,用MAP=[RGB]表示。MAP中每一行的三个元素分别指定该行对应颜色的红、绿、蓝单色值,MAP中每一行对应图像矩阵像素的一个灰度值,如某一像素的灰度值为64,则该像素就与MAP中的第64行建立了映射关系,该像素在屏幕上的实际颜色由第64行的[RGB]组合决定。

12、深度学习中目标检测的常用方法,异同。

13、给定摄像头范围和图像大小求分辨率。

14、如何检测图片中的汽车,并识别车型,如果有遮挡怎么办?

15、数字识别的流程。

16、介绍神经网络、SVM、AdaBoost、kNN…(每一个都可能深入问各种细节)

17、写梯度下降代码。

18、卷积神经网络与神经网络的区别。

19、卷积层的作用、pooling层的作用,全连接层的作用。

20、过拟合和欠拟合分别是什么,如何改善。

21、1x1卷积和的作用。

22、计算卷积神经网络某一层参数量。

22、opencv遍历像素的方式?

23、LBP原理?

24、HOG特征计算过程,还有介绍一个应用HOG特征的应用?

25、opencv里面mat有哪些构造函数?

26、如何将buffer类型转化为mat类型?

27、opencv如何读取png格式的图片?

28、opencv如何读取内存图片?

29、opencv里面有哪些库?

30、用过opencv里面哪些函数?

31、opencv里面为啥是bgr存储图片而不是人们常听的rgb?

32、你说opencv里面的HOG+SVM效果很差?他就直接来了句为啥很差?差了就不改了?差了就要换其他方法?、

33、讲讲HOG特征?他在dpm里面怎么设计的,你改过吗?HOG能检测边缘吗?里面的核函数是啥?那hog检测边缘和canny有啥区别?

34、如何求一张图片的均值?

35、如何写程序将图像放大缩小?

36、如何遍历一遍求一张图片的方差?

37、高斯噪声和椒盐噪声

椒盐噪声就是在图像上随机出现黑色白色的像素。椒盐噪声是一种因为信号脉冲强度引起的噪声,椒盐噪声用中值滤波比较好。

原因是:

1.椒盐噪声是幅值近似相等但是随机的分布在不同位置,图中既有污染的点,也有干净的点。

2.图中噪声的均值不为零,所以不适合均值滤波。

3.图中有干净的点也有污染的点,所以中值滤波可以用干净的点代替污染的点。

高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声。高斯噪声用均值滤波比较好。

原因是:

1.高斯噪声的幅值近似正态分布,但是分布在每个点上。

2.因为所有的点都被污染所以不能中值滤波选不到正确的干净的点。

3.因为高斯噪声服从正态分布所以均值噪声为零可以选用均值滤波处理噪声。

2019-06-17 14:35:17 qq_42304949 阅读数 565

概念与方法

     一幅图像可定义为一个二维函数f(x,y),其中x,y是空间坐标,而在任何一对空间坐标(x,y)处的幅值称为图像在该点处的强度或灰度。当x,y和灰度值f是有限的离散数值时,我们称该图像为数字图像
数字图像是由有限的元素组成的,每个元素都有特定的位置和幅值,这些元素称为像素。
数字图像处理是借助于数字计算机来处理数字图像。

采样与量化:所谓的图像数字化,是指将模拟图像经过离散化之后,得到用数字表示的图像。
图像的数字化包括了空间离散化(即采样)和明暗表示数据的离散化(即量化)。

对坐标的数值化称为取样;对幅值的数字化称为量化。

分辨率:  区分图像中的目标物细节的程度,称为图像的分辨率。图像分辨率包括空间分辨力和幅度分辨率,分别由图像的采样和量化决定。

  • 空间分辨率是图像中可辨别的最小细节的度量。
  • 灰度分辨率是灰度级中可分辨的最小变化。

图像增强通过某种技术有选择的突出对某一具体应用有用的信息,削弱或抑制一些无用的信息。

  • 基于图像的灰度直方图,根据所在空间不同,分为空域和频域两种。
  • 常用的彩色增强有:真彩色增强技术、假彩色增强技术、伪彩色增强技术。

图像加减乘除:相加用于平滑噪声,相减用于增强差别,相乘用于矫正阴影和模板操作。

直方图均衡化对在图像中像素的个数多的灰度级进行展宽,而对像素个数少的灰度级进行缩减,从而达到清晰图像的目的。

直方图匹配:    直方图规定化是使原图像灰度直方图变成规定形状的直方图而对图像作修正的增强方法,也称为直方图匹配

空域滤波:

  • 空域滤波是指利用像素及像素邻域组成的空间进行图像增强的方法。
  • 其原理是对图像进行模板运算。
  • 模板运算的基本思路是将赋予某个像素的值作为它本身灰度值和其相邻像素灰度值的函数。

微分滤波器模板系数设计:

     roberts交叉梯度算子,prewitt梯度算子,sobel梯度算子。两种模板处理后取绝对值再相加。

     -1  0              -1  -1  -1            -1  -2  -1

      0  1               0   0   0              0   0   0

                           1   1   1              1   2   1

取样定理:

取样定理百度百科

                                             \frac {1}{\Delta T}>2u_{max}

如果以超过函数最高频率两倍的取样率来获得样本,连续带限函数能完全由其样本集恢复。

 

混淆

混淆分为时间和空间。

以低于奈奎斯特取样率取样的最终效果是周期重叠,并且不管使用什么样滤波器,都不可能分离出变换的一个单周期。

由函数欠采样导致的后果称为频率混淆即:一个连续函数的高频分量在取样后的函数中用低频修改的过程。

 

一维DFT及IDFT:

F(u)=\sum_{x=0}^{M-1}f(x)e^{-j2\pi ux/M}, u=0,1,2,.....,M-1;

f(x)=\frac {1} {M}\sum_{x=0}^{M-1}F(u)e^{j2\pi ux/M}, x=0,1,2,.....,M-1;

\overline{f}(x,y) =F(0,0);  若f(x,y)为一幅图像,在原点的傅里叶变换等于该图像的平均灰度级。

DFT步骤:

  1. 使用paddedsize获得填充参数:PQ = paddedsize(size(f));%如果输入是彩色图像,必须要灰度化rgb2gray;
  2. 对f(x,y)添加必要的零;
  3. 得到使用填充的傅里叶变化:F = fft2(f, PQ(1), PQ(2));
  4. 生成一个大小为PQ(1)  X  PQ(2) 的滤波函数H,如果该滤波函数已居中,使用前要令H = ifftshift(H)。
  5. 将变换乘以滤波函数:G = H.*F;
  6. 获得G的傅里叶逆变换的实部:g = real(ifft2(G));
  7. 将左上部分的矩形剪切为原来尺寸大小:g = g(1:size(f,1), 1:size(f, 2));

频率域滤波器:

H_{BP}(u,v)=1-H_{BR}(u,v)

 

 

H_{np}(u,v)=1-H_{nr}(u,v)

高频提升,高频加强,钝化模板

高频滤波后的图像,其背景平均强度 减小到接近黑色(因为高通滤波器滤除 了傅里叶变换的零频率成分: F(0,0)=f(x,y)=0)

 解决办法:把原始图像加到过滤后的 结果,如拉普拉斯算子增强,这种处理 称为高频提升过滤

钝化模板(锐化或高通图像):从一幅图像减去 其自身模糊图像而生成的锐化图像构成。在频率 域,即从图像本身减去低通滤波(模糊)后的图 像而得到高通滤波(锐化)的图像

高频提升过滤:

当A=1,即高通过滤;当A>1,累加图像本身

 

振铃效应

用理想低通滤波器滤波时,频域:G(u,v)=F(u,v)H(u,v)

傅立叶反变换到时域有:g(x,y)=f(x,y)∗h(x,y)

频域相乘相当于时域作卷积。因此,图像经过理想低通滤波器后,时域上相当于原始图像与sinc函数卷积,由于sinc函数振荡,则卷积后图像也会振荡;或者说由于sinc函数有两个负边带,卷积后图像信号两侧出现“过冲现象”,而且能量不集中,即产生振铃效应。若截止频率越低,即D0越小,则sinc函数主瓣越大,表现为中心环越宽,相应周围环(旁瓣)越大。而中心环主要决定模糊,旁瓣主要决定振铃效应。因此当截止频率较低时,会产生很强的振铃效应。选择适当的截止频率,会减小振铃效应

PS:这里的时域也就是空间域

FFT

 

F(u)=\sum_{x=0}^{M-1}f(x)w_{M}^{ux};

W_M=e^{-j2\pi/M};

M=2^n=2K

                                                                             F(u)=F_{even}(u)+F_{odd}(u)W_{2K}^{u}

                                                                             F(u)=F_{even}(u)-F_{odd}(u)W_{2K}^{u}

 

分析这些表达式得到如下一些有趣的特性:

  1. 一个M个点的变换,能够通过将原始表达式分成两个部分来计算。
  2. 通过计算两个(M/2) 个点的变换。得F_{even}(u) 和 F_{odd}(u)
  3. 奇部与偶部之和得到F(u)的前(M/2)个值,奇部与偶部之差得到F (u)的后(M/2)个值。且不需要额外的变换计算。

各种噪声概率密度函数

高斯噪声

p(z)= \frac {1} {\sqrt {2 \pi}\sigma}e^{-(z-\overline z)^2/2\sigma^2}

瑞丽噪声

p(z)=$$\left\{ \begin{array}{c} \frac {2}{b}(z-a)e^{-(z-a)^2/b}, z\geq a \\ 0, \qquad \qquad \; z<a \end{array} \right. $$             \overline z=a+\sqrt{\pi b/4}             \sigma^2=\frac {b(4-\pi)}{4}

爱尔兰(伽马)噪声

p(z)=$$\left\{ \begin{array}{c} \frac {a^bz^{(b-1)}} {(b-1)!}e^{-az}, z\geq a \\ 0, \qquad \qquad \; z<a \end{array} \right. $$                              \overline z=\frac b a                 \sigma^2=\frac {b} {a^2}

指数噪声

p(z)=$$\left\{ \begin{array}{c} ae^{-az}, z\geq \textsl{0} \\ 0, \qquad z<\textsl{0} \end{array} \right. $$                                     \overline z=\frac 1 a                        \sigma^2=\frac {1} {a^2}

 

均匀噪声

p(z)=$$\left\{ \begin{array}{c} \frac 1 {b-a}, \;\;\; a\leq z \leq b \\ 0, \qquad other \end{array} \right. $$                        \overline z=\frac {a+b}{2}                           \sigma^2=\frac {(a-b)^2} {12}

脉冲(椒盐)噪声

p(z)=$$\left\{ \begin{array}{c} p_a,\quad z=a \\ p_b, \quad z=b \\ 0,\quad \; other \end{array} \right. $$

 


图像复原(问答库):图像复原是根据图像退化的先验知识建立一个退化模型,以此模型为基础,采用各种逆退化处理方法进行恢复,得到质量改善的图像。

图像复原与增强的区别和联系:

  • 与图像增强相似,图像复原的目的也是改善图像质量。
  • 两者都可以使用空间域或频率域滤波器实现。
  • 图像增强主要是一个主观过程,而图像复原主要是一个客观过程。
  • 图像增强被认为是一种对比度拉伸,提供给用户喜欢接收的图像;而图像复原技术追求恢复原始图像的最优估值。

图像复原与增强的区别(问答库)

  • 图像增强不考虑图像是如何退化的,而是试图采用各种技术来增强图像的视觉效果。因此,图像增强可以不顾增强后的图像是否失真,只要看得舒服就行。
  • 而图像复原就完全不同,需知道图像退化的机制和过程等先验知识,据此找出一种相应的逆处理方法,从而得到复原的图像。

 图像复原与图像增强的主要区别如下(考试资料网):

  1. 图像恢复利用退化模型来恢复图像而图像增强一般无须对图像降质过程建立模型。
  2. 图像恢复是针对图像整体以改善图像的整体质量。而图像增强是针对图像的局部以改善图像的局部特性如图像的平滑和锐化。
  3. 图像恢复的过程要有一个客观的评价准则而图像增强很少涉及统一的客观评价准则。

维纳滤波


试卷

直方图均衡和匹配

完整试卷道客巴巴

数字图像处理添加去除噪声

f=tofloat(imread('Fig0318(a).tif'));
figure; imshow(f);
%% 1自适应中值滤波去除椒盐噪声
clc; clear;
f=imread('Fig0405(a)[without_noise].tif');
d=0.25;
f=imnoise(f,'salt & pepper',d);
Smax=7;
g=adpmedian(f,7);
figure;  
subplot(1,2,1); imshow(f); title(['带椒盐噪声图像d=',num2str(d)]);
subplot(1,2,2); imshow(g); title(['自适应中值滤波去噪图像Smax=',num2str(Smax)]);
imwrite(g,'C:\Users\DELL\Desktop\wdx\课程\数字图像处理\pictures\ex_1.png');
%% 2布特沃斯低通滤波器去除高斯噪声
clc; clear;
f=tofloat(imread('Fig0318(a).tif'));
a=0; b=0.1; m=size(f,1); n=size(f,2);
f=imnoise(f,'gaussian',a,b);
PQ=paddedsize(size(f));
D=20;
H=lpfilter('btw',PQ(1),PQ(2),D); 
g=dftfilt(f,H);
f=im2uint8(f);
g=im2uint8(g);
figure;  
subplot(1,2,1); imshow(f); title(['带高斯噪声图像mean=',num2str(a),',std=',num2str(b)]);
subplot(1,2,2); imshow(g); title(['布特沃斯低通滤波器去除高斯噪声D=',num2str(D)]);
imwrite(g,'C:\Users\DELL\Desktop\wdx\课程\数字图像处理\pictures\ex_2.png');
%% 5布特沃斯高通滤波去除瑞丽噪声
clc;clear
f=imread('Fig0318(a).tif');
a=0; b=1;
m=size(f,1); n=size(f,2); 
D=150;
fnoise=imnoise_rayleigh(m,n, a,b);
fnoise=im2uint8(fnoise);
f=f+fnoise;
PQ=paddedsize(size(f));
H=hpfilter('btw',PQ(1),PQ(2),D); 
g=dftfilt(f,H);
figure;  
subplot(1,2,1); imshow(f); title(['加瑞丽噪声图像a=',num2str(a),' b=',num2str(b)]);
subplot(1,2,2); imshow(g); title(['布特沃斯高通滤波去除瑞丽噪声D=',num2str(D)]);
imwrite(g,'C:\Users\DELL\Desktop\wdx\课程\数字图像处理\pictures\ex_5.png');
%% 6高斯高通滤波去除指数噪声
clc;clear;
f=imread('Fig0318(a).tif');
a=1; b=a; D=250;
m=size(f,1); n=size(f,2); 
fnoise=imnoise_exponential(m, n, a,b);
fnoise=im2uint8(fnoise);
f=f+fnoise;
PQ=paddedsize(size(f));
H=hpfilter('gaussian',PQ(1),PQ(2),D); 
g=dftfilt(f,H);
figure;  
subplot(1,2,1); imshow(f); title(['加指数噪声图像a=',num2str(a)]);
subplot(1,2,2); imshow(g); title(['高斯高通滤波去除指数噪声D=',num2str(D)]);
imwrite(g,'C:\Users\DELL\Desktop\wdx\课程\数字图像处理\pictures\ex_6.png');
%% 4理想低通滤波去除均匀噪声
clc;clear;
f=imread('Fig0318(a).tif');
a=2; b=10; 
m=size(f,1); n=size(f,2); 
D=120;
fnoise=a+(b-a)*rand(m,n);
fnoise=uint8(fnoise);
f=f+fnoise;
PQ=paddedsize(size(f));
H=lpfilter('ideal',PQ(1),PQ(2),D); 
g=dftfilt(f,H);
figure;  
subplot(1,2,1); imshow(f); title(['加均匀噪声图像a=',num2str(a),' b=',num2str(b)]);
subplot(1,2,2); imshow(g); title(['理想低通滤波去除均匀噪声D=',num2str(D)]);
imwrite(g,'C:\Users\DELL\Desktop\wdx\课程\数字图像处理\pictures\ex_4.png');

%% 7高斯带阻滤波器去除周期噪声
clc;clear;
I=imread('Fig0318(a).tif');
[m,n]=size(I);
J=I;
for i=1:m
    for j=1:n
        J(i,j)=I(i,j)+20*sin(20*i)+20*sin(20*j);%增加周期性噪声
    end
end
IF=fftshift(fft2(I));
JF=fftshift(fft2(J));
IF=log(1+abs(IF));
JF=log(1+abs(JF));
figure(1)
subplot(121)%显示频谱
imshow(IF,[])
subplot(122)
imshow(JF,[])
%高斯带阻滤波器构造
D0=55;w=5;  %D0为截止频率,w为带宽
fbrf=ones(m,n);
for i=1:m
    for j=1:n
        fbrf(i,j)=1-exp(-0.5*(((i-m/2)^2+(j-n/2)^2-D0^2)/(sqrt(i.^2+j.^2)*w))^2);
    end
end
 H=fbrf;
%频率域滤波
f=fftshift(fft2(J));
out=f.*H;%频率域滤波
out=ifft2(ifftshift(out));
out=abs(out);
out=out/max(out(:));%归一化[0,1]
figure(2)
subplot(121); imshow(J,[]); title('加正弦周期噪声图像');
subplot(122); imshow(out,[]); title('高斯带阻滤波器去除周期噪声D0=55 w=5;');
imwrite(out,'C:\Users\DELL\Desktop\wdx\课程\数字图像处理\pictures\ex_7.png');
%% 3高斯低通滤波去除爱尔兰(伽马)噪声
clc;clear;
f=imread('Fig0318(a).tif');
a=2; b=50;
D=100;
fnoise = imnoise_gamma(size(f,1),size(f,2),a,b);
fnoise = im2uint8(fnoise);   % 类型转换
f=f+fnoise;
PQ=paddedsize(size(f));
H=lpfilter('gaussian',PQ(1),PQ(2),D); 
g=dftfilt(f,H);
figure;  
subplot(1,2,1); imshow(f); title(['加爱尔兰噪声图像a=',num2str(a),' b=',num2str(b)]);
subplot(1,2,2); imshow(g); title(['高斯低通滤波去除爱尔兰噪声D=',num2str(D)]);
imwrite(g,'C:\Users\DELL\Desktop\wdx\课程\数字图像处理\pictures\ex_3.png');








 

2020-04-22 22:43:48 qq_34107425 阅读数 89031

因为本人近期也要紧临毕业,面临招聘面试,所以整体别人公开的面经,做一个整理,并且加上自己认为的答案,欢迎各位读者对答案进行指正和交流。

深度残差的作用

  • 直观上,深度加深,出现梯度消失和梯度爆炸的问题
  • 在论文中,出现了一个奇怪的现象,就是56层网络效果没有20层的好。本质问题是因为网络深造成信息丢失从而产生过拟合问题,在较深的网络层上,明明是不同类别的图片,但是却产生了相近的对网络刺激的效果。
  • 关键就是:用残差来保留数据的差异性

BatchNorm的作用

  • 避免梯度爆炸梯度消失问题
  • 正则化,避免过拟合;
  • 本质是解决了ICS(internal Covariate Shift)的问题,保证每一层的数据分布是同分布的。

DenseNet的优势

  • DenseNet是ResNet的改良版本,密集的复用通道特征。
  • 所以每层的特征可以直达最后的误差信号,使得网络更容易训练,是一种deep supervision的实现,类似于GoogLeNet的三个输出的概念;
  • 因为每一层只增加少量的通道数,从而参数更小,计算更快。因为大量的concat之前的特征;
  • 最终分类使用了低级特征。

损失函数有哪些

  1. 回归任务:均方误差
    MSE=i=1n(yiyi^)2nMSE = \frac{\sum^n_{i=1}{(y_i-\hat{y_i})^2}}{n}
  2. 回归任务:L2范数
    MSE=i=1n(yiyi^)2MSE = \sqrt{\sum^n_{i=1}{(y_i-\hat{y_i})^2}}
  3. 分类任务:CrossEntropy交叉熵
  4. 分类任务:focal loss
    这个是何凯明大佬的作品,是解决多分类任务中样本不平衡的现象的。公式中,预测结果为output,真实值为true,output是模型的直接输出打分情况,true是onehot编码:
    Lfocalloss(output,true)=1ni=1ntrueθ(1softmax(output))γlog(softmax(output))L_{focal_loss}(output,true)=-\frac{1}{n}\sum_{i=1}^ntrue*\theta*(1-softmax(output))^{\gamma}*log(softmax(output))
    论文中θ=0.25,γ=2\theta=0.25,\gamma=2

GBDT梯度提升树学习的是什么

学习的是负梯度,而不是残差

什么是端到端学习

就是把过程简化成只用一个神经网络来完成。比方说文字识别,可能需要先对图像进行二值化,然后进行锐化膨胀腐蚀等操作,但是端对端就是直接把图片放到网络中,然后直接识别出文字。在训练集较大的情况下,端到端学习会有惊人的效果。

2018-08-15 11:37:16 cszn6666 阅读数 4083

机器视觉(Machine Vision)是人工智能领域中发展迅速的一个重要分支,目前正处于不断突破、走向成熟的阶段。一般认为机器视觉“是通过光学装置和非接触传感器自动地接受和处理一个真实场景的图像,通过分析图像获得所需信息或用于控制机器运动的装置”,可以看出智能图像处理技术在机器视觉中占有举足轻重的位置。

 

  智能图像处理是指一类基于计算机的自适应于各种应用场合的图像处理和分析技术,本身是一个独立的理论和技术领域,但同时又是机器视觉中的一项十分重要的技术支撑。人工智能、机器视觉和智能图像处理技术之间的关系如图1所示。

图1智能图像处理的支撑作用

 

  具有智能图像处理功能的机器视觉,相当于人们在赋予机器智能的同时为机器按上了眼睛,使机器能够“看得见”、“看得准”,可替代甚至胜过人眼做测量和判断,使得机器视觉系统可以实现高分辨率和高速度的控制。而且,机器视觉系统与被检测对象无接触,安全可靠。

 

1. 机器视觉技术▲▲▲

 

  机器视觉的起源可追溯到20世纪60年代美国学者L.R.罗伯兹对多面体积木世界的图像处理研究,70年代麻省理工学院(MIT)人工智能实验室“机器视觉”课程的开设。到80年代,全球性机器视觉研究热潮开始兴起,出现了一些基于机器视觉的应用系统。90年代以后,随着计算机和半导体技术的飞速发展,机器视觉的理论和应用得到进一步发展。

 

  进入21世纪后,机器视觉技术的发展速度更快,已经大规模地应用于多个领域,如智能制造、智能交通、医疗卫生、安防监控等领域。目前,随着人工智能浪潮的兴起,机器视觉技术正处于不断突破、走向成熟的新阶段。

 

  在中国,机器视觉的研究和应用开始于20世纪90年代。从跟踪国外品牌产品起步,经过二十多年的努力,国内的机器视觉从无到有,从弱到强,不仅理论研究进展迅速,而且已经出现一些颇具竞争力的公司和产品。估计随着国内对机器视觉研究、开发和推广的不断深入,赶上和超越世界水平已不是遥不可及的事情了。

 

  常见机器视觉系统主要可分为两类,一类是基于计算机的,如工控机或PC,另一类是更加紧凑的嵌入式设备。典型的基于工控机的机器视觉系统主要包括:光学系统,摄像机和工控机(包含图像采集、图像处理和分析、控制/通信)等单元,如图2所示。机器视觉系统对核心的图像处理要求算法准确、快捷和稳定,同时还要求系统的实现成本低,升级换代方便。

图2机器视觉系统案例

 

2. 智能图像处理技术▲▲▲

  机器视觉的图像处理系统对现场的数字图像信号按照具体的应用要求进行运算和分析,根据获得的处理结果来控制现场设备的动作,其常见功能如下:

 

  (1)图像采集

  图像采集就是从工作现场获取场景图像的过程,是机器视觉的第一步,采集工具大多为CCD或CMOS照相机或摄像机。照相机采集的是单幅的图像,摄像机可以采集连续的现场图像。就一幅图像而言,它实际上是三维场景在二维图像平面上的投影,图像中某一点的彩色(亮度和色度)是场景中对应点彩色的反映。这就是我们可以用采集图像来替代真实场景的根本依据所在。

 

  如果相机是模拟信号输出,需要将模拟图像信号数字化后送给计算机(包括嵌入式系统)处理。现在大部分相机都可直接输出数字图像信号,可以免除模数转换这一步骤。不仅如此,现在相机的数字输出接口也是标准化的,如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等,可以直接送入计算机进行处理,以免除在图像输出和计算机之间加接一块图像采集卡的麻烦。后续的图像处理工作往往是由计算机或嵌入式系统以软件的方式进行。

 

  (2)图像预处理

  对于采集到的数字化的现场图像,由于受到设备和环境因素的影响,往往会受到不同程度的干扰,如噪声、几何形变、彩色失调等,都会妨碍接下来的处理环节。为此,必须对采集图像进行预处理。常见的预处理包括噪声消除、几何校正、直方图均衡等处理。

  通常使用时域或频域滤波的方法来去除图像中的噪声;采用几何变换的办法来校正图像的几何失真;采用直方图均衡、同态滤波等方法来减轻图像的彩色偏离。总之,通过这一系列的图像预处理技术,对采集图像进行“加工”,为体机器视觉应用提供“更好”、“更有用”的图像。

 

  (3)图像分割

  图像分割就是按照应用要求,把图像分成各具特征的区域,从中提取出感兴趣目标。在图像中常见的特征有灰度、彩色、纹理、边缘、角点等。例如,对汽车装配流水线图像进行分割,分成背景区域和工件区域,提供给后续处理单元对工件安装部分的处理。

 

  图像分割多年来一直是图像处理中的难题,至今已有种类繁多的分割算法,但是效果往往并不理想。近来,人们利用基于神经网络的深度学习方法进行图像分割,其性能胜过传统算法。

 

  (4)目标识别和分类

  在制造或安防等行业,机器视觉都离不开对输入图像的目标进行识别和分类处理,以便在此基础上完成后续的判断和操作。识别和分类技术有很多相同的地方,常常在目标识别完成后,目标的类别也就明确了。近来的图像识别技术正在跨越传统方法,形成以神经网络为主流的智能化图像识别方法,如卷积神经网络(CNN)、回归神经网络(RNN)等一类性能优越的方法。

 

  (5)目标定位和测量

  在智能制造中,最常见的工作就是对目标工件进行安装,但是在安装前往往需要先对目标进行定位,安装后还需对目标进行测量。安装和测量都需要保持较高的精度和速度,如毫米级精度(甚至更小),毫秒级速度。这种高精度、高速度的定位和测量,倚靠通常的机械或人工的方法是难以办到的。在机器视觉中,采用图像处理的办法,对安装现场图像进行处理,按照目标和图像之间的复杂映射关系进行处理,从而快速精准地完成定位和测量任务。

 

  (6)目标检测和跟踪

  图像处理中的运动目标检测和跟踪,就是实时检测摄像机捕获的场景图像中是否有运动目标,并预测它下一步的运动方向和趋势,即跟踪。并及时将这些运动数据提交给后续的分析和控制处理,形成相应的控制动作。图像采集一般使用单个摄像机,如果需要也可以使用两个摄像机,模仿人的双目视觉而获得场景的立体信息,这样更加有利于目标检测和跟踪处理。

3. 机器视觉的应用▲▲▲

  如图3所示,机器视觉应用广泛,如安防、制造、教育、出版、医疗、交通、军事领域等。在这些机器数额的应用中,智能图像处理都是不可或缺的,这里仅简要介绍其中几个方面的应用。

图3常见机器视觉应用场合

 

  (1)智能制造

  为了实现中国智能制造2025这一宏伟目标,离不开机器视觉。例如,在智能图像处理一直处于领先地位的广东迅通科技股份有限公司(以下简称“迅通科技”)针对这一需求开发出了机器视觉分析仪平台,见图4。其中,迅通科技为某知名汽车厂商装配流水线开发的车门限位器自动定位、检测和识别的系统,见图5。该系统通过智能图像识别方式,自动检测型号是否正确,定位是否准确,完全代替了人工操作,检测准确率达到100%。此前,每个工位需要4个工人用眼睛来检查、定位16种型号限位器,员工不仅很容易疲劳,还时常出现差错。

  (2)教育考试

  考试试卷时常发现因排版或印刷错误影响学生考试,利用智能图像处理技术,机器自动对印刷后的试卷和原版试卷进行比对,发现不一致之处,会自动提示并报警,完全替代之前只能通过人工对试卷进行校验。

 

  (3)出版印刷

  和教育考试类似,专业出版印刷厂由于印刷的图书、报纸杂志,以及承接来自企业产品包装和宣传资料的种类多,数量大,排版和印刷中经常出错。为此,需安排不少专业人员进行校对,耗费大量的资金和时间。通过利用智能图像处理技术进行自动校对,既提高了校对准确度,又缩短了校对时间,降低了印刷成本,缩短了出版物的交付周期。

 

  (4)安防监控

  这是当前备受机器视觉关注的一个领域。机器视觉打破了传统视频监控系统的限制,增加了系统的智能,使得智能视频分析得以逐步实现。以公共场所的视频监控为例,通过运用机器视觉技术,可以实现对可疑人物的自动检测、人脸识别、实时跟踪,必要时还可以实现多摄像机接连跟踪,同时发出告警,存储现场信息。

 

  (5)智能交通

  机器视觉在交通领域有着广泛的应用。例如,在高速公路上及卡口处,对来往车辆进行车型、牌照等识别,甚至对行驶车辆的违规行为进行识别。在汽车上对驾驶员面部图像进行分析,判断驾驶员是否处于疲劳驾驶状态。再如,无人驾驶汽车借助于机器视觉技术,使用摄像头、激光/毫米波/超声波雷达、GPS等感知道路环境信息,自动规划和控制车辆的安全行驶。

 

  有数据显示,2016年全球机器视觉系统的市场规模约46亿美元, 2017年约50亿美元,预计2018年达到55亿美元,年增长率为10%左右。中国机器视觉市场的增长是从2010年开始的,2017年市场规模约68亿元,预计到2020年或达780亿元,市场增长率将超过100%。

4. 技术瓶颈及今后的发展▲▲▲

  在机器视觉的智能图像处理技术的发展中,还存在不少技术瓶颈,如:

  1)稳定性:某种处理方法往往在研究和开发中表现良好,但在复杂多变的应用环境中,却不时地出现问题。例如人脸识别系统,在目标配合时识别率可高达95%以上,但在实际监控环境下,识别率就会大大下降。

  2)实时性:如果图像的采集速度、处理速度较慢,再加上新近引入的深度学习类算法,加大了系统实时处理的难度,跟不上机器运行和控制的节奏。

  3)准确性:机器视觉系统要求图像识别和测量的准确性接近100%,任何微小的误差都有可能带来不可预测的后果。例如目标定位的误差会使装配出来的设备不符合要求。

  4)系统能力:目前的嵌入式图像处理系统,存在芯片的计算能力不足,存储空间有限等问题,常常不能满足运算量较大的图像处理运算,如神经网络的迭代运算,大规模矩阵运算等。

 

  今后机器视觉中智能图像处理的发展主要体现在以下几个方面:

  1)算法:传统算法继续不断有所突破,新一波人工智能浪潮带来不少新的性能优良的图像处理算法,如深度学习(DL),卷积神经网络(CNN),生成对抗网络(GAN),等等。

  2)实时性:出现更多结构新颖、资源充足、运算快速的硬件平台支撑,例如基于多CPU、多GPU的并行处理结构的计算机,海量存储单元等。

  3)嵌入式:新的高速的信号处理器阵列,超大规模FPGA芯片。

  4)融合处理:从单图像传感器发展到多传感器(多视点)的融合处理,可更加充分地获取现场信息。还可融合多类传感器,如图像传感器、声音传感器、温度传感器等共同完对现场目标定位、识别和测量。

 

  总之,无论是“中国制造2025”还是“工业4.0”都离不开人工智能,离不开计算机视觉,而智能图像处理是机器视觉的核心技术,随着图像处理水平的不断提高,一定会有力地推动机器视觉的迅速发展。

 

深圳辰视智能科技有限公司是一家集机器视觉、工业智能化于一体的高新技术企业,是由一支中国科学院机器视觉技术研究的精英团队在深圳创立。

辰视智能拥有基于深度学习的三维视觉引导、机器人运动控制、视觉检测、三维建模等方面的核心技术,并研发了机器人三维视觉引导系统 、机器人二维视觉引导系统、三维检测系统、产品外观检测系统等可根据客户需求定制化的智能产品。以高效·低成本·模块化的方式为自动化集成商、自动化设备厂商、机器人厂家提供机器视觉的相关解决方案。

辰视智能致力于技术的不断研究、创新、突破,为合作伙伴提供世界领先的机器视觉产品及技术。

2011-06-23 16:27:00 ding_net 阅读数 641

      最近一直在做数字图像处理方面的项目,感觉有必要将相关的知识整理一下。

    标题取得很大,图像工程其实是一个很广泛的概念,包含了图像处理、图像分析、图像理解三个层次,目前参与的项目主要与图像处理与分析相关,图像理解方面的东西了解还不是很多,希望以后能有更多深入的机会。

  图像工程的三个层次:

      

 

      图像处理:

      

      图像分析:

             

      图像理解:

                   

分类: 图像工程