2017-12-03 17:28:28 arryCC 阅读数 3315

数字图像处理


一、学习内容总结

1. 第一章 绪论

本章主要有几个目的:

  1. 定义我们称之为数字图像处理领域的范围;
  2. 通过考察几个领域,给出图像处理技术状况的概念;
  3. 讨论图像处理用到的几种方法;
  4. 概述通用目的的典型图像处理系统的组成。

1.1 什么是数字图像处理

我们给出一些定义:

  • 强度灰度:一幅图像可以被定义为一个二维函数 f(x,y),其中 x,y 是空间(平面)坐标,而在任何一处的幅值 f 被称为在该点的灰度或强度。
  • 数字图像:当 x,y 或灰度值 f有限的离散数值时,称该图像为数字图像。也就是说数字图像是由有限数量的元素组成,每个元素都有特定的位置和幅值。这些元素被称为图画元素图像元素像素
  • 数字图像处理 : 指用特定的计算机来处理数字图像。

本书中将数字图像处理界定为其输入和输出都是图像的处理。

1.2 使用数字图像处理领域的实例

  • 伽马射线成像:医学和天文。
  • X射线成像:最早用于成像的电磁辐射源之一,医学诊断。
  • 紫外波段成像 :荧光显微镜。
  • 可见光及红外线成像 :可见显微镜技术,遥感,天气预测和预报,红外卫星图像,自动视觉检测,检测丢失的部件,指纹图像。
  • 微波波段成像 :雷达。
  • 无线电波段成像 :天文学和医学(核磁共振)。
  • 其他方式 :声波成像,电子显微镜方法,(由计算机产生的)合成图像。

1.3 数字图像处理的基本步骤

这里写图片描述

1.4 图像处理系统的组成

这里写图片描述

2. 第二章 数字图像处理基础

本章主要介绍数字图像处理一些基本概念

2.1 视觉感知要素

  • 人眼的结构

    重点介绍视网膜里的两类光感受器

    • 锥状体 :对颜色高度敏感,这种视觉称为白昼视觉或者亮视觉。高照明水平下执行。
    • 杆状体 :没有彩色感觉,对低照明度敏感,称为暗视觉或微光视觉。低照明水平下执行。
  • 亮度适应与辨别

    • 亮度适应现象 :视觉系统不能同时在一个范围内工作,它是通过改变其整个灵敏度来完成这一较大变动的。
    • 韦伯比 :较大:亮度辨别能力较差;反之,较好。
  • 感知亮度 不是简单的强度的函数

    • 视觉系统往往会在不同强度区域的边界处出现“下冲”或“上冲”现象。
    • 同时对比、错觉

2.2 光和电磁波谱

  • 电磁波是能量的一种,任何有能量的物体都会释放电磁波谱。它可以用 波长 (λ)、频率(v)或能量(E) 来描述,其中

λ=c/v

E=hv

  • 光是一种特殊的电磁辐射,可以被人眼感知。
    • 单色光 是没有颜色的光,也成为无色光。唯一属性就是它的强度或者大小,用 灰度级 来表示。单色图像常被称为 灰度图像
    • 彩色光源 的质量可以用发光强度、光通量和亮度 来表示。

2.3 图像感知和获取

  • 图像获取方式

    • 使用单个传感器来获取图像
    • 使用条带传感器获取图像
    • 使用传感器阵列获取图像
  • 简单的图像形成模型

    用形如 f(x,y) 的二维函数来表示图像,那么:

    0<f(x,y)<

    f(x,y) 可以用两个分量来表征:

    • 入射分量 入射到被观察场景的光源照射总量,用i(x,y) 表示;
    • 反射分量 场景中物体所反射的光照总量,用r(x,y) 表示。

    所以有:

    f(x,y)=i(x,y)r(x,y),0<i(x,y)<,0<r(x,y)<1

2.4 图像取样和量化

  • 取样和量化的基本概念

    • 取样 :对坐标值进行数字化
    • 量化 : 对幅值数字化

    数字图像的质量在很大程度上取决于取样和量化中所用的样本数灰度级

  • 数字图像表示

    用数列矩阵来表示一幅数字图像。在实数矩阵中,每个元素称为图像单元、图像元素或像素。

    对比度 一幅图像最高和最低灰度级间的灰度差为对比度。

    存储数字图像所用的比特数为:

    b=M×N×k,M=Nb=N2k

    灰度级数L=2k

  • 空间和灰度分辨率

    • 空间分辨率 :图像中可辨别的最小细节的度量。在数量上,表示每单位距离线对数和每单位距离点数是最通用的度量(必须针对空间单位来规定才有意义)。
    • 灰度分辨率 :指在灰度级中可分辨的最小变化。
  • 图像内插

    用已知数据来估计未知位置的数据处理。是基本的图像重取样方法。可以处理图像的放大和缩小。

2.5 像素间的基本关系

  • 相邻像素

    位于坐标 (x,y) 处的像素 p 有4个水平和垂直上的相邻像素,用 N4(p) 表示;有四个对角相邻像素,用 ND(p) 表示。如果 p 位于图像边界,则某些邻点可能 落在图像外边。

  • 邻接性、连通性、区域和边界

    • 4邻接、8邻接、混合邻接
  • 距离度量

    • 欧氏距离(圆)
    • D4 城市街区距离(菱形)
    • 棋盘距离(正方形)

2.6 常用数学工具介绍

  • 阵列和矩阵操作
  • 线性操作和非线性操作
  • 算术操作
  • 集合和逻辑操作
    • 基本集合操作
    • 逻辑操作
    • 模糊集合
  • 空间操作
    • 单像素操作
    • 邻域操作
    • 几何空间变换与图像配准
  • 向量和矩阵操作
  • 图像变换

3.第三章

3.1 背景知识

  • 空间域 就是简单的包含图像像素的平面。空间域处理可用以下方式表示:

g(x,y)=T[f(x,y)],T(x,y)

  • 灰度变换函数
    s=T(r),r,s

3.2 基本灰度变换函数

  • 图像反转

    得到灰度范围为 [0,L1] 的一幅图像的反转图像:(得到等效的照片底片)

    s=L1r

  • 对数变换

    对数变换的通用形式:

    s=clog(1+r)

    扩展图像中暗像素的值,同时压缩更高灰度级的值。反对数变换的作用与此相反。

这里写图片描述

  • 幂律变换(伽马)变换

    基本形式:

    s=crγ

    γ<1 变亮,大于1变暗,c=γ=1 恒等变换。

这里写图片描述
* 分段线性变换函数
* 对比度拉伸:扩展图像灰度级动态范围处理,因此它可以跨越记录介质和显示装置的全部灰度范围。

根据$r,s$ 的取值,变换可以为线性函数和阈值处理函数。
  • 灰度级分层:突出特定图像灰度范围的亮度。有两种方法:

    • 突出范围 [A,B] 内的灰度,并将所有其他灰度降低到一个更低的级别;
    • 突出范围[A,N] 内的灰度,并保持所有其他灰度级不变。
  • 比特平面分层:突出特定比特为整个图像外观作贡献。

    • 4个高阶比特平面,特别是最后两个比特平面,包含了在视觉上很重要的大多数数据。
    • 低阶比特平面在图像中贡献更精细的灰度细节。

    得出结论:储存四个高阶比特平面将允许我们以可接受的细节来重建原图像。这样可减少50%的存储量。

3.3 直方图的处理

  • 理论基础:若一幅图像的像素倾向于占据可能的灰度级并且分布均匀,则该图像会有高对比度的外观并展示灰色调的较大变化。

  • 直方图均衡:

    • 灰度范围为 [0,L1] 的数字图像的直方图是离散函数 h(rk)=nk,其中 rk 是第 k 级灰度值,nk 是图像中灰度为rk 的像素的个数。
    • 通过转换函数T(rk)变换,得到直方图均衡化。
    • 应用:自适应对比度增强。
  • 直方图匹配:用于处理后有特殊直方图的方法。

  • 局部直方图处理:以图像中每个像素邻域中的灰度分布为基础设计变换函数,来增强图像中小区域的细节。

  • 在图像增强中使用直方图统计:提供这样一种增强图像的方法:

    在仅处理均值和方差时,实际上直接从取样值来估计它们,不必计算直方图。这些估计被称为取样均值和取样方差。

3.4 空间滤波基础

  • 空间滤波机理

    • 空间滤波器的组成:
    • 一个邻域
    • 对该邻域包围的图像像素执行的预定义操作

    滤波产生的是一个新像素,新像素的坐标等于邻域中心的坐标,像素的值是滤波操作的结果。

  • 空间相关与卷积

    • 相关:滤波器模板移过图像并计算每个位置乘积之和的处理。一个大小为m×n 的滤波器与一幅图像 f(x,y) 做相关操作,可表示为w(x,y)f(x,y)
    • 卷积:与相关机理相似,但滤波器首先要旋转180o 一个大小为m×n 的滤波器与一幅图像 f(x,y) 做j卷积操作,可表示为w(x,y)f(x,y)

3.5 平滑空间滤波器

用于模糊处理和降低噪声。

  • 平滑线性滤波器(均值滤波器)

    它使用滤波器确定的邻域内像素的平均灰度值代替图像中每个像素的值。应用:

    • 降低噪声
    • 灰度级数量不足而引起的伪轮廓效应的平滑处理
    • 去除图像的不相关细节
  • 统计排序(非线性)滤波器

    最有代表性的是中值滤波器 ,特点:

    • 将像素邻域内灰度的中值(在中值计算中,包括原像素值)代替该像素的值;
    • 对处理脉冲噪声(椒盐噪声)非常有效。

3.6 锐化空间滤波器

  • 拉普拉斯算子:最简单的各向同性微分算子,是一个线性算子。因其为微分算子,因此强调的是图像中灰度的 突变而不是灰度级缓慢变换的区域。

  • 非锐化隐蔽和高提升滤波:从原图像中减去一部分非锐化的版本。步骤:

    • 模糊原图像
    • 从原图像减去模糊图像
    • 将模板加到原图像上
  • 梯度:图像处理中的一阶微分用梯度实现。对于函数f(x) ,在坐标(x,y) 处的梯度定义为二维列向量。它指出在位置f(x,y)f的最大变化率方向。

    应用:边缘增强。

4.第四章

本章主要为傅里叶变换的原理打一个基础,并介绍在基本的图像滤波中如何使用傅里叶变换。

4.1. 基本概念

  • 傅里叶概念:任何周期函数都可以表示为不同频率的正弦和或余弦和的形式,每个正弦项和或余弦项乘以不同的系数(傅里叶级数)。
  • 傅里叶变换:在非周期函数用正弦和或余弦和乘以加权函数的积分来表示的公式。
  • 介绍复数、傅里叶级数、冲击及其取样特征、连续函数的傅里叶变换以及之前提过的卷积。

4.2. 取样与取样函数中的傅里叶变换

  • 取样

    在连续函数f(x,y) 中模拟取样的一种方法是:用一个ΔT 单位间隔的冲击串作为取样函数去乘以f(t) .

  • 取样函数的傅里叶变换

    空间域来两个函数乘积的傅里叶变换是两个函数在频率域的卷积。

  • 取样定理

    如果以超过函数最高频率的两倍的取样来获取样本,连续的带限函数可以完全从它的样本集来恢复。

4.3. DFT小结

在课本上,作者给了我们详细的总结:

这里写图片描述
这里写图片描述
这里写图片描述

4.4. 频率域滤波

  • 步骤
    • 等到填充参数PQ
    • 形成大小为P×Q 的填充后的图像fp(x,y)
    • (1)x+y 乘以fp(x,y)移到其变换中心
    • 计算上一步骤的DTF,得到F(u,v)
    • 生成实的、对称的滤波函数H(u,v)
    • 得到处理后的图像gp(x,y)
    • gp(x,y) 的做上限提取M×N区域 ,得到最终的处理结果g(x,y)
  • 空间域与频率域间的纽带是卷积定理。

4.5. 使用频率域滤波器平滑图像

三种低通滤波器来平滑图像

  • 定义总结

这里写图片描述

  • 特性
    • 理想低通滤波器(ILFP)
    • 特性:模糊和振铃。
    • 布特沃斯低通滤波器(BLPF)
    • 特性:随着阶数增高,其振铃和负值变明显。(一阶时无)
    • 高斯低通滤波器(GLPF)
    • 特性:无振铃

4.6. 使用频率域滤波器锐化图像

  • 三种高通滤波器来锐化图像
    • 定义总结

这里写图片描述
* 特性

* 理想高通滤波器(IHPF)
  * 有振铃
* 布特沃斯高通滤波器(BHPF)
  * 比IHPF更平滑
* 高斯低通滤波器(GHPF)
  * 比前两个更平滑,即使微小物体和细线条得到的结果也比较其清晰
  • 其他方式

    • 拉普拉斯算子
    • 钝化模板、高提升滤波和高频强调滤波
    • 同态滤波

4.7.选择性滤波器

处理指定频段或者频率域的小区域

  • 带阻滤波器和带通滤波器

    • 带阻滤波器
      这里写图片描述

    • 带通滤波器

    • 通过1减去带阻得到。

  • 陷波滤波器:拒绝事先定义的关于频率矩形中心的一个邻域的频率。

    • 陷波带阻滤波器

    用中心已被平移到陷波滤波中心的高通滤波器的乘积来构造。

    • 陷波带通滤波器

    通过1减去带阻得到。

2019-04-16 19:51:37 qq_37692302 阅读数 182

目录

一、 图像与图像处理的概念

二、图像处理科学的意义

三、 数字图像处理的特点

四、数字图像处理的主要方法

五、数字图像处理的主要内容

六、数字图像处理的起源与应用

七、数字图像处理领域的发展动向


图像处理的基本步骤:图像获取、滤波与增强、图像复原、彩色图像处理、小波与分辨率处理、压缩、形态学处理、分割、表示与描述、目标识别

一、 图像与图像处理的概念

图像(Image): 使用各种观测系统以不同形式和手段观测客观世界而获得的,可以直接或间接作用于人眼并进而产生视觉的实体。包括:

·各类图片,如普通照片、X光片、遥感图片;

·各类光学图像,如电影、电视画面;

·客观世界在人们心目中的有形想象以及外部描述,如绘画、绘图等。

数字图像:为了能用计算机对图像进行加工,需要把连续图像在坐标空间和性质空间都离散化,这种离散化了的图像是数字图像。

图像中每个基本单元叫做图像的元素,简称像素(Pixel)。

数字图像处理(Digital Image Processing):是指应用计算机来合成、变换已有的数字图像,从而产生一种新的效果,并把加工处理后的图像重新输出,这个过程称为数字图像处理。也称之为计算机图像处理(Computer Image Processing)。

二、图像处理科学的意义

1.图像是人们从客观世界获取信息的重要来源

·人类是通过感觉器官从客观世界获取信息的,即通过耳、目、口、鼻、手通过听、看、味、嗅和接触的方式获取信息。在这些信息中,视觉信息占70%。

·视觉信息的特点是信息量大,传播速度快,作用距离远,有心理和生理作用,加上大脑的思维和联想,具有很强的判断能力。

·人的视觉十分完善,人眼灵敏度高,鉴别能力强,不仅可以辨别景物,还能辨别人的情绪。

2.图像信息处理是人类视觉延续的重要手段

非可见光成像。如:γ射线、X射线、紫外线、红外线、微波。利用图像处理技术把这些不可见射线所成图像加以处理并转换成可见图像,可对非人类习惯的那些图像源进行加工。

3.图像处理技术对国计民生有重大意义

图像处理技术发展到今天,许多技术已日益趋于成熟,应用也越来越广泛。它渗透到许多领域,如遥感、生物医学、通信、工业、航空航天、军事、安全保卫等。

三、 数字图像处理的特点

1. 图像信息量大

每个像素的灰度级至少要用6bit(单色图像)来表示,一般采用8bit(彩色图像),高精度的可用12bit或16bit。

一般分辨率的图像像素为256×256、 512×512 256×256×8=64kB 512×512×8=256kB

高分辨率图像像素可达1024×1024、2048×2048

1024×1024×8=1MB 2048×2048×8=4MB

如:X射线照片一般用64到256kB的数据量 一幅遥感图像3240×2340×4≈30Mb

2. 图像处理技术综合性强

一般来说涉及通信技术、计算机技术、电视技术、电子技术,至于涉及到的数学、物理学等方面的基础知识就更多。

3.图像信息理论与通信理论密切相关

图像理论是把通信中的一维问题推广到二维空间上来研究的。

通信研究的是一维时间信息,时间域和频率域的问题。任何一个随时间变化的波形都是由许多频率不同、振幅不同的正弦波组合而成的。

图像研究的是二维空间信息,研究的是空间域和空间频率域(或变换域)之间的关系。任何一幅平面图像是由许多频率、振幅不同的X-Y方向的空间频率波相叠加而成。

四、数字图像处理的主要方法

1.空域法

把图像看作是平面中各个像素组成的集合,然后直接对这一二维函数进行相应的处理。主要有两大类:

· 域处理法:包括梯度运算,拉普拉斯算子运算,平滑算子运算和卷积运算。

· 点处理法:包括灰度处理,面积、周长、体积、重心运算等等。

2.变换域法

数字图像处理的变换域处理方法是首先对图像进行正交变换,然后在施行各种处理,处理后再反变换到空间域,得到处理结果。 包括滤波、数据压缩、特征提取等处理。

五、数字图像处理的主要内容

完整的数字图像处理系统大体上可分为如下几个方面:

1.图像的信息的获取(Image information acquisition)

把一幅图像转换成适合输入计算机和数字设备的数字信号。需要两个部件以获取数字图像:

(1)物理设备,该设备对我们希望成像的物体发射的能量很敏感。

(2)数字化器,是一种把物理感知装置的输出转化为数字形式的设备。

常见的图像输入设备有:扫描仪、摄像机、数码相机、图像采集卡等

2.图像信息的存储(Image information storage)

主要有三类:

(1)处理过程中使用的快速存储器;

·计算机内存。

·帧缓存,通常可存储多幅图像并可以视频速度读取。它可以允许对图像进行放大、缩小,以及垂直翻转和水平翻转。

(2)用于比较快的重新调用的在线或联机存储器;

·磁盘,可存储几个G byte的数据;

·磁光存储器,可在51/4英寸的光片上存储上G byte的数据;

·光盘塔,一个光盘塔可放几十个到几百个光盘,利用机械装置插入或从光盘驱动器中抽取光盘。

(3)不经常使用的数据库(档案库)存储器。

·磁带。长13英尺的磁带可存储近1G byte的数据,但储藏寿命较短。

·一次写多次读(WORM)光盘。可在12英寸的光盘上存储6G byte数据,在14英寸的光盘上存储10G byte数据,并易于储藏。

3.图像信息的传送(Image information transmission)

可分为系统内部传送与远距离传送:

(1)内部传送:

指在不同设备间交换图像数据。现在有许多用于局域通信的软件和硬件以及各种标准协议。多采用DMA(Direct Memory Access)技术以解决速度问题。

(2)外部远距离传送:

主要问题是图像数据量大而传输通道比较窄。

这一状况由于光纤和其他宽带技术的发展,正在迅速得到改进。另一方面,解决这个问题需要依靠对图像数据压缩。

4.图像的输出与显示

图像处理的最终目的是为人或机器提供一幅更便于解释和识别的图像。因此图像的输出也是图像处理的重要内容之一。

主要分两类:(1)硬拷贝(记录图像)。如激光打印机、胶片照相机、热敏装置、喷墨装置和数字单元(如CD-ROM)等。

(2)软拷贝。如CRT (Cathode Ray Tube)显示、液晶显示器(LCD)、场致发光显示(FED)。

5.数字图像处理(Digital image processing)

主要包括以下几项内容:

(1)几何处理(Geometrical Image Processing)

主要包括坐标变换,图像的放大、缩小、旋转、移动,多个图像配准,全景畸变校正,扭曲校正,周长、面积、体积计算等。

(2)算术处理(Arithmetic Processing)

主要对图像施以+、-、×、÷等运算,虽然该处理主要针对像素点的处理,但非常有用,如医学图像的减影处理就有显著的效果。

(3)图像增强(Image Enhancement)

就是突出图像中感兴趣的信息,而减弱或去除不需要的信息,从而使有用信息得到加强。

·改善图像的视觉效果,提高图像成分的清晰度;

·使图像变得更有利于计算机处理,便于进一步进行区分或解释。

(4)图像复原(或恢复)(Image Restoration)

就是尽可能地减少或者去除图像在获取过程中的降质(干扰和模糊),恢复被退化图像的本来面貌,从而改善图像质量。

关键是对每种退化(图像品质下降)建立一个合理的模型。

(5)图像重建(Image Reconstruction)

是从数据到图像的处理。即输入的是某种数据,而处理结果得到的是图像。典型应用有CT技术和三维重建技术。

(6)图像编码(Image Encoding)

主要是利用图像信号的统计特性及人类视觉的生理学及心理学特征对图像信号进行高效编码,其目的是压缩数据量,以解决数据量大的矛盾。

(7)图像识别(Image Recognition)

利用计算机识别出图像中的目标并分类、用机器的智能代替人的智能。它所研究的领域十分广泛,如,机械加工中零部件的识别、分类;从遥感图片中分辨农作物、森林、湖泊和军事设施;从气象观测数据或气象卫星照片准确预报天气;从X光照片判断是否发生肿瘤;从心电图的波形判断被检查者是否患有心脏病;在交通中心实现交通管制、识别违章行驶的汽车及司机,等等。

六、数字图像处理的起源与应用

数字图像处理的起源:

最早可追溯到20世纪20年代,借助打印设备进行数字图像的处理。

基于光学还原的技术,该技术在电报接收端用穿孔纸带打出图片。

到1929年由早期的用5个灰度等级对图像编码,增加到15个等级。

真正数字图像处理技术的诞生可追溯到20世纪60年代早期。

数字图像处理技术在20世纪60年代末和20世纪70年代初开始用于医学图像、地球遥感监测和天文学等领域。

数字图像处理主要应用于下面的几个领域:

(1) 通讯

按业务性能划分可分为:电视广播传真、可视电话、会议电视、图文电视、可视图文以及电缆电视。

按图像变化性质分可分为:静止图像和活动图像通信。

(2) 遥感

航空遥感和卫星遥感图像都需要数字图像处理技术的加工处理,并提取出有用的信息。主要用于土地测绘,资源调查,气候监测,农作物估产,自然灾害预测预报,环境污染监测,气象卫星云图处理以及地面军事目标的识别。

(3) 生物医学领域中的应用

计算机图像处理在医学上应用最成功的例子就X射线CT(X-ray Computed Tomography),20世纪70年代发明的计算机轴向断层术(CAT),简称计算机断层。

(4) 工业生产中的应用

从70年代起得到了迅速的发展,图像处理技术的重要应用领域。在生产线中对产品及部件进行无损检测,如食品、水果质量检查,无损探伤,焊缝质量或表面缺陷 等等。

(5) 军事、 公安等方面的应用

军事目标的侦察、制导和警戒系统、自动灭火器的控制及反伪装;公安部门的现场照片、指纹、手迹、人像等的处理和辨识;历史文字和图片档案的修复和管理等。

(6) 教学和科研领域

如科学可视化技术,远程培训及教学也将大量使用图像处理技术的成果。

(7) 电子商务

如身份认证、产品防伪、水印技术等。

七、数字图像处理领域的发展动向

需进一步研究的问题:

(1)在进一步提高精度的同时着重解决处理速度问题。

(2)加强软件研究、开发新的处理方法。

(3)加强边缘学科的研究工作,促进图像处理技术的发展。

(4)加强理论研究,逐步形成图像处理科学自身的理论体系。

(5)图像处理领域的标准化。

未来发展动向大致可归纳为:

(1)图像处理的发展将围绕HDTV的研制,开展实时图像处理的理论及技术研究,向着高速、高分辨率、立体化、多媒体化、智能化和标准化方向发展。

(2)图像、图形相结合,朝着三维成像或多维成像的方向发展。

(3)硬件芯片研究。

(4)新理论与新算法研究。
 

2018-05-30 17:25:09 fengzhongluoleidehua 阅读数 1406

深度学习笔记
深度学习(六十九)darknet 实现实验 Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffma

深度学习(六十八)darknet使用

深度学习(六十七)metal forge深度学习库使用

深度学习(六十六)生成模型、最大化似然、KL散度

深度学习(六十五)移动端网络MobileNets

深度学习(六十四)Faster R-CNN物体检测

深度学习(六十三)空间变换网络

深度学习(六十二)SqueezeNet网络设计思想笔记

深度学习(六十一)NNPACK 移植与实验

深度学习(六十)网络压缩简单总结

深度学习(五十九)mxnet移植至android

深度学习(五十八)caffe移植至mxnet

深度学习(五十七)tensorflow andorid yolo物体检测测试

深度学习(五十六)tensorflow项目构建流程

深度学习(五十五)tensorflow分布式训练

深度学习(五十四)图片翻译WGAN实验测试

深度学习(五十三)对抗网络

深度学习(五十二)变分贝叶斯自编码器(下)

深度学习(五十一)变分贝叶斯自编码器(上)

深度学习(五十)基于条件对抗网络的图片翻译

深度学习(四十九)Tensorflow提高代码效率笔记

深度学习(四十八)InfoGAN学习笔记

深度学习(四十七)DSD正则化训练方法

深度学习(四十六)Adversarial Autoencoders

深度学习(四十五)条件对抗网络

深度学习(四十四)变分贝叶斯自编码器(上)

深度学习(四十三)条件变分自编码器概述

深度学习(四十二)word2vec词向量学习笔记

深度学习(四十一)cuda8.0+ubuntu16.04+theano、caffe、tensorflow环境搭建

深度学习(四十)caffe使用点滴记录

深度学习(三十九)可视化理解卷积神经网络(2.0)

深度学习(三十八)卷积神经网络入门学习(2.0)

深度学习(三十七)优化求解系列之(1)简单理解梯度下降

深度学习(三十六)异构计算CUDA学习笔记(1)

深度学习(三十五)异构计算GLSL学习笔记(1)

深度学习(三十四)对抗自编码网络-未完待续

深度学习(三十三)CRF as RNN语义分割-未完待续

深度学习(三十二)半监督阶梯网络学习笔记

深度学习(三十一)基于深度矩阵分解的属性表征学习

深度学习(三十)贪婪深度字典学习

深度学习(二十九)Batch Normalization 学习笔记

深度学习(二十八)基于多尺度深度网络的单幅图像深度估计

深度学习(二十七)可视化理解卷积神经网络

深度学习(二十六)Network In Network学习笔记

深度学习(二十五)基于Mutil-Scale CNN的图片语义分割、法向量估计

深度学习(二十四)矩阵分解之基于k-means的特征表达学习

深度学习(二十三)Maxout网络学习

深度学习(二十二)Dropout浅层理解与实现

深度学习(二十一)基于FCN的图像语义分割

深度学习(二十)基于Overfeat的图片分类、定位、检测

深度学习(十九)基于空间金字塔池化的卷积神经网络物体检测

深度学习(十八)基于R-CNN的物体检测

深度学习(十七)基于改进Coarse-to-fine CNN网络的人脸特征点定位

深度学习(十六)基于2-channel network的图片相似度判别

深度学习(十五)基于级联卷积神经网络的人脸特征点定位

深度学习(十四)基于CNN的性别、年龄识别

深度学习(十三)caffe之训练数据格式

深度学习(十二)从自编码到栈式自编码

深度学习(十一)RNN入门学习

深度学习(十)keras学习笔记

深度学习(九)caffe预测、特征可视化python接口调用

深度学习(八)RBM受限波尔兹曼机学习-未完待续

深度学习(七)caffe源码c++学习笔记

深度学习(六)caffe入门学习

深度学习(五)caffe环境搭建

深度学习(四)卷积神经网络入门学习

深度学习(三)theano入门学习

深度学习(二)theano环境搭建

深度学习(一)深度学习学习资料

图像处理
图像处理2

图像处理(二十三)基于调色板的图像Recoloring

图像处理(二十二)贝叶斯抠图

图像处理(二十一)基于数据驱动的人脸卡通动画生成

图像处理(十九)基于移动最小二乘的图像变形

图像处理(十四)图像分割(4)grab cut的图割实现

图像处理(十三)保刚性图像变形算法

图像处理(十二)图像融合(1)Seamless cloning泊松克隆

图像处理(十一)图像分割(3)泛函能量LevelSet、snake分割

图像处理(九)人物肖像风格转换

图像处理(十)基于特征线的图像变形-

图像处理(七)导向滤波磨皮

图像处理(六)递归双边滤波磨皮

图像处理(四)图像分割(2)测地距离Geodesic图割

图像处理(三)图像分割(1)Random Walks分割

https://blog.csdn.net/hjimce/article/details/50573444

主要阐述了一系列rcnn用到的算法以及目前发展流程,做一个综合的整理 rcnn->spp-net->fast-rcnn->faster-rcnn->yolo->ssd->R-FCN 小小搬运工,希望对大家有帮助 :)

https://blog.csdn.net/column/details/ym-alanyannick.html

2019-06-30 14:14:03 great_name 阅读数 261

第一章


一:理解图像处理的关键步骤
1.图像获取; 2.图像增强; 3.图像修复; 4.形态学处理; 5.分割; 6.对象识别; 7.描述; 8.图像压缩; 9.彩色图像处理

 

第二章


一:理解数字图像存储的基本模型
二维矩阵,每个元素表示DN值;


二:理解遥感图像的原格式存储模式并应用
BIP:以像元为基本单位(pixel);BIL按照扫描行为的单位(line);BSQ:以波段为单位;BMP由文件头、位图信息、位图数据三部分组成;


三:图像数字化的步骤及主要影响因素,并能基于相关知识分析遥感图像的数据特点
步骤和影像因素:采样(采样间隔)、量化(量化级数)。遥感图像的数据特点:采样间隔与量化级数呈反相关。
ps:采样间隔与空间分辨率有关,量化级数与辐射分辨率有关,因为能量守恒,空间分辨率越高,每个传感器收到的能量就越小,量化级数就很难提高。


四:遥感图像的基本分析量(一维统计量、二维统计量)及其对图像特征的表征

单变量的图像统计:直方图、累计直方图、统计参数(均值、方差等)

多变量的图像统计:特征空间图


一维统计量:众数、中值、均值(众数偏离均值y较远则为偏态分布)、离散度(像元值范围)、样本方差(离散平方和的x均值)、标准差、……
多维k统计量:协方差、相关系数……


五:遥感图像的图形化分析工具(直方图、特征空间图)

直方图是灰度级的函数,描述的是图像中该灰度级的像素个数或该灰度级像素出现的频率。
特征空间图是以各波段的DN值为坐标轴,将每一个像素按照其DN值绘制在空间中


六:略

 

第三章

 

一:了解遥感影像畸变类型及改正的一般思路


畸变类型:辐射畸变(受各种因素影响,传感器测量值与地物实际光谱辐射率的不一致)、几何畸变(原始图像上各地物的几何位置与参照系统中的表达要求不一致)。
改正思路:分析畸变原因,针对畸变原因设计改正算法(绝对校正模型);找到真实影像的正确分布,找寻关联性模型进行改进(相对校正模型)。


二:了解遥感传感器系统误差的主要来源及校正方法
随机坏像元、行或列缺失、行或列条纹,前两者先进行检测,然后用期望较好的像元代替,或者用附近像元的均值或中值代替;第三种使用绝对校正模型在几何校正前修复。


三:掌握暗目标法、固定目标法、经验线法进行大气校正的原理及主要步骤
暗目标法
原理:利用浓密植被或水体在可见光(浓密植被)和红外(水体)具有低反射,根据其在此特征波段的反射率与其他波段反射率之间的相关关系进行大气校正。
适用:中分辨率成像光谱仪(MODIS、MERIS)
固定目标法
原理:假设图像中某像元反射率已知或“固定”,利用这些像元反射率和各波段光谱反射率之间的线性关系对整景图像进行校正和均一化(若得到卫星同步的地面观测反射率数据,则此方法时绝对大气校正的方法)
经验线法
假设图像中存在白目标和黑体目标,利用黑白目标反射率和各波段光谱反射率之间的线性关系,可对整景图像进行校正和均一化。


四:分析遥感图像几何误差的主要来源
几何误差的来源:传感器的成像方式(投影方式)、传感器的姿态变化、地形起伏、地球曲率、GSD不同(地面采样距离)、地球自转、传感介质的不均匀……


五:遥感图像几何校正的主要步骤
图像空间坐标变换(先建立映射关系,再通过映射关系对各个像素坐标进行校正)
确定各像素的灰度值(重采样)


六:掌握几何多项式模型的原理及解算方法
几何多项式模型:回避成像的空间几何过程,而直接对图像变形本身进行数学模拟,把遥感图像的总体变形看作是平移、缩放、旋转、仿射、偏扭、弯曲及更高次的基本变形的综合j作用结果,通过二元齐次多项式,将纠正后的坐标用原始图像的坐标来表示。
多项式的系数矩阵A=(WTW)-1WT*X、B=(WTW)-1WT*Y

p.s几何多项式模型不适合用来校正地形起伏较大的遥感影像,因为几何多项式模型的输入为x、y坐标,缺少高程信息,所以对高程的校正效果很差


七:掌握数据重采样的三种方法并分析其适用场景
最近邻内插法,适用:因为保留了原始的DN值,所以在需要数值分析的过程中适用。
双线性内插法,适用:需要平滑的插值图像。
三次内插法,适用:当对运算量的要求不高或需要锐化处理的图像。

三次内插法参考:https://blog.csdn.net/qq_29058565/article/details/52769497


八(猜测):理解正向坐标转换和反向坐标转换,并能说明其在几何校正中的作用
正向坐标转换:从原始畸变图像的坐标转换为校正后的坐标;用于获取校正后的图像范围
反向坐标转换:从校正后的坐标转换到原始畸变图像的坐标;对校正后的图像进行重采样


九:了解共线方程的基本原理
共线方程(物理模型)

 

第四章

一:理解影像显示的基本过程及关键问题
关键问题:原始图像与输出设备之间的对应(空间、属性):空间-像元空间位置与输出位置的一致性;属性值-像元亮度值和输出显示值的对应关系
过程:将像元位置和输出位置对应,再将输出显示值和像元亮度值对应?(没错,又是一个猜测)


二:从影像显示原理角度解释真彩色、假彩色、伪彩色显示
伪彩色:将一个波段或单一的黑白图像变换为彩色图像;(数据来源是一个波段)
假彩色:通过映射函数变换成新的三基色分量,再彩色合成;(数据来源是多个波段)
真彩色:将RGB三个波段的DN值输入到RGB三个通道。


三:了解影像显示增强的目的
目的:改善图像的视觉效果,提高图像的清晰度;将图像转换成一种更适合于人或机器进行解译和分析处理的形式。


四:掌握对比度增强的主要方法及其适用场景
主要方法:灰度扩展(比例线性扩展、分段线性扩展、非线性灰度扩展),直方图调整(直方图均衡化、直方图规定化)……
适用场景:分段线性扩展:直方图不符合正态分布,具有双峰或是多峰的情况;直方图均衡化:遥感图像其灰度分别集中在较窄的区间,从而引起图像细节的模糊,为使图像细节清晰,并使一些目标得到突出,达到增强图像的目的;直方图规定化:比较不同观测时间或不同遥感器观测得到的图像时因不同观测因素导致的辐射特性不匹配;


五:掌握直方图均衡化、直方图规定化的原理及增强算法流程
均衡化是特殊的规定化
流程计算原始图像的直方图和累积直方图,计算目标图像的直方图和累积直方图;
将两幅累计直方图的纵坐标换算成频率;
将原始图像的累积直方图的每一个频率值匹配到目标图像的累计直方图最近的频率上,将两个匹配的l频率所在DN值做映射关系;
将原始图像上所有像元的DN值根据映射关系换算到新图像上。

第五章

一:理解影像光谱(特征)空间和影像光谱变换

光谱空间到特征空间的变换 原始光谱波段的权向量(W)乘光谱向量加上偏置向量;
影像光谱变换增强:光谱空间向特征空间的一种转换(不是很懂)
 

二:掌握卷积运算的原理及算法流程

卷积运算:在图像上使用一个移动窗口,对输入的像元在一个窗口内执行运算,计算值呗放到输出图像的相同位置,也就是输入图像窗口的中心位置。
 

三:掌握典型滤波算子的设计原理及计算

均值滤波算子、中值滤波算子、梯度算子(Roberts算子{{0,0,0},{0,1,0},{0,0,-1}},{{0,0,0},{0,0,1},{0,-1,0}}、sobel算子{{-1,0,1},{-2,0,2},{-1,0,1}},{{1,2,1},{0,0,0},{-1,-2,-1}})、拉普拉斯算子{{0,-1,0},{-1,4,-1},{0,-1,0}}、prewitt算子(参照sobel算子,将2改为1)

p.s sobel梯度是在prewitt算法的基础上,对4邻域采用加权方法进行差分,因而对边缘的检测更加精确。

四:基于特征空间解释主成分分析的原理

对遥感影像实行线性变换,使多波段影像数据从其自身空间变化到另一空间。变换后的主分量空间坐标系与变换前的多光谱空间坐标系相比旋转了一个角度。而且新坐标系的坐标轴一定指向数据信息量较大的方向。原始图像的协方差矩阵的特征向量矩阵的转置乘上原始图像的特征空间得到新的主成分空间。

五:了解主成分分析的主要应用

应用PCA可以去除相关性【相关矩阵】、突出地物特征、压缩数据,另外还可以剔除噪声,因为PCA变换后的信息量通常随主分量顺序而减少,噪声信息更突出。

 

第六章

 一:理解空间信息

一幅图像中像元的亮度值在空间上的差异与变化,可以看作是复杂的波形,是由具有不同的振幅、频率和相位的许多正弦或余弦波叠合而成。短距离内的亮度变化相当于高频波,而长距离内的变化相当于低频波。

频谱图像是空间图像的离散傅里叶变换,通常为复数值。可以分解为波幅图像和相位图像。空间频率信息的分布是按极坐标表示,任意一点到频谱图像原点的距离代表该点空间频率的高低,而与原点连线的方位角决定线性特征的走向,明暗度表示相应频率上振幅大小

二:理解空间域和频率域

空间域 英文: spatial domain。 释文: 又称图像空间(image space)。由图像像元组成的空间。在图像空间中以长度(距离)为自变量直接对像元值进行处理称为空间域处理。

空间频率域。 英文: spatial frequency domain。 释文: 以空间频率(即波数)为自变量描述图像的特征,可以将一幅图像像元值在空间上的变化分解为具有不同振幅、空间频率和相位的简振函数的线性叠加,图像中各种空间频率成分的组成和分布称为空间频谱。这种对图像的空间频率特征进行分解、处理和分析称为空间频率域处理或波数域处理。

二者的关系即为可相互转换(傅里叶滤波的原理)

三:理解傅里叶变换的原理和意义

原理:任何连续测量的时序或信号,都可以表示为不同频率的正弦波信号的无限叠加

意义:傅里叶变换将原来难以处理的时域信号转换成了易于分析的频域信号(信号的频谱),可以利用一些工具对这些频域信号进行处理、加工。最后还可以利用傅里叶反变换将这些频域信号转换成时域信号。

四:掌握频率域滤波的方法

正->滤波->逆

五:掌握卷积滤波和频率域滤波的区别和联系

空间域与空间频率域可互相转换。在空间频率域中可以引用已经很成熟的频率域技术,处理的一般步骤为:①对图像施行二维离散傅立叶变换或小波变换,将图像由图像空间转换到频域空间。②在空间频率域中对图像的频谱作分析处理,以改变图像的频率特征。即设计不同的数字滤波器,对图像的频谱进行滤波。

 

第七章

 

一:了解数学形态学的基本原理

腐蚀、膨胀、开运算(先腐蚀再膨胀,使边缘光滑)、闭运算(先膨胀再腐蚀,填充细节)

 

第八章

一:了解图像分割的主要方法

  • 基于边缘检测的分割:先提取边界区域,再确定边界限定的区域;
  • 区域分割:确定每一个像素的归属区域,从而形成一个区域图;
  • 区域生长:将属性相近的连通像素聚集成区域;
  • 分裂——合并分割:综合利用前两种方法,即存在图像的划分,又存在图像的合并;

二:掌握阈值分割的基本思路和 OSTU 方法的原理

基本思路:寻找一个灰度级阈值T将灰度级分割,在图像中分出背景和目标两个区域

OSTU方法的原理:OSTU(大津法)寻找一个阈值,使类间方差最大化,通过这个阈值来分割。大津法的关键是找到最大类间方差

三:掌握区域生长法的基本原理及算法过程

因为同一区域的像素具有相似性,所以将具有相似性质的像素集划分为一个目标集来构成目标区域。

逐行扫描寻找未分类点,将未分类点与种子点比较,进行分类,当种子停止扩张时,添加新的类。

 

四:掌握基于区域分割算法的原理和主要步骤

因为像素灰度值的不连续性和同一区域的像素具有相似性,先进行四分裂,再将分裂后的相邻子块检查进行合并。

 

第九章

 

一:特征空间理解基于统计的影像分类的原理

同类地物像元的特征向量将集群在统一特征空间区域;二不同的地物其光谱信息特征或空间信息特征将不同,集群再不同的特征空间区域

 

二:掌握影像分类的主要过程

根据图像分类目的选取特定区域的遥感影像,考虑空间分 辨率、光谱分辨率、成像时间、图像质量等。 2. 根据研究区域,收集与分析地面参考信息与有关数据。 3. 根据分类要求和影像的特征,选择合适的图像分类方法和 算法。制定分类系统,确定分类类别。 4. 测定总体特征,找出代表这些类别的样本在监督分类中可 选择具有代表性的训练场地进行采样。在非监督分类中, 可用聚类等方法对特征相似的像素进行归类,测定其特征。 5. 对遥感图像中各像素进行分类。 6. 分类精度检查。 7. 对判别分析的结果进行统计检验。

三:了解影像分类的主要方法

基于统计的方法和基于规则的方法 n 监督分类和非监督分类 n 硬分类和软分类 n 逐像元分类和面向对象分类

四:掌握最大似然分类的原理

五:掌握最小距离分类的原理及其与最大似然分类的关系

六:掌握 ISODATA 分类的主要步骤

七:理解混合像元,了解混合像元分类的主要思想

八:了解决策树分类的基本思想

九:掌握影像分类精度评估的概念和方法

十:理解影像分类精度的主要因素,并思考如何提高影像分类精度(PPT)

没有更多推荐了,返回首页