2.1图像数字化

• 原理:图像数字化是将一幅画面转换成计算机能处理的形式–数字图像的过程.
• 包括采样和量化两个过程.

2.1.1数字图像的表示

• 数字图像用矩阵来描述:以一幅数字图像F左上角像素中心为坐标原点,一幅m*n的数字图像用矩阵表示为:

数字图像根据灰度级的差异可以分为:黑白图像,灰度图像和彩色图像.

2.1.1.1黑白图像

• 图像的每个像素只能是黑或者白,没有中间的过渡,因此又称为二值图像.二值图像的像素值为1或0.

2.1.1.2灰度图像

• 每个像素的信息由一个量化的灰度来描述图像,没有彩色信息,字节(8位)可表示256级灰度[0,255]

2.1.1.3彩色图像

• 彩色图像是指每个像素由R G B分量构成的图像,其中R G B是由不同的灰度级来描述,1个灰度级使用一个字节,3字节可以表示一个像素.

2.1.2图像数字化过程

2.1.2.1采样

• 采样:将空间上连续的图像变换成离散点的操作成为采样。

• 采样的两个参数：

  • 采样间隔

    • 采样点之间的距离。
    • 采样间隔需要符合信号与系统处理中的抽样定理即在一定的采样间隔之下，能够完全把原始信号回复的一个原则。

  • 采样孔径

    • 采样的形状和大小
    • 

2.1.2.2量化

• 量化：
  • 将像素灰度转换成离散的整数值的过程。
  • 一幅数字图像中不同灰度值的个数成为灰度级，用G表示。一般数字图像灰度级数G为2的整数幂，即G=2^g,g为量化bit数、若一幅图像的量化灰度级G=256级，灰度值范围为0-255，常称为8bit量化。
• 图像数据量：
  • 一幅M*N，灰度级为G的图像所需的存储空间为M * N * g(bit)为图像数据量。

2.1.2.3采样、量化参数与数字化图像间的关系

• 数字化方式可分为均匀采样、量化和非均匀采样、量化。

  • 所谓均匀，指的是采样、量化均为等间隔方式。图像数字化一般采用均匀采样和均匀量化方式。

• 非均匀采样：根据图像细节的丰富程度改变采样间隔，细节丰富的地方，采样间隔小，否则间距大。

• 非均匀量化：对图像层次少的区域采用间隔大量化，而对图像层次丰富的区域采用间隔小量化。

• 采样关系：

  • 采样间隔大，所得图像像素数越少，空间分辨率低，质量差
  • 采样间隔越小，所得图像像素书越多，空间分辨率高，图像质量好，但数据量大
  • 下图像素数从256 * 256递减至8 * 8

• 量化关系：

  • 量化等级越多，所得图像层次越丰富，灰度分辨率越高，质量越好，但数据量大，量化等级越少，图像层次欠丰富，灰度分辨率低，质量变差，会出现加轮廓现象，但是数据量小。

  • 例子：下面图像为采样间距相同时灰度级数从256到64，16，8，4，2所得的图像。

    

2.1.2.4图像数字化设备

• 数字化器组成

• 扫描仪工作原理

  

• 图像数字化器的性能评价：

  

2.2图像灰度直方图

• 图像灰度直方图的概念：灰度直方图是反应一幅图像中各灰度级像素出现的频率与灰度级的关系，以灰度级为横坐标，频率为纵坐标，绘制频率同灰度级的关系图就是一幅灰度图像的直方图。
• 灰度直方图的性质：
  • 只能反映图像的灰度分布情况，而不能反应图像像素的位置，即其会丢失位置信息
  • 一幅图像对应唯一的灰度直方图，反之不成立
  • 一幅图像分为多个区域，多个区域的直方图之和为该图像的直方图
• 应用：
  • 判断图像量化是否恰当
  • 确定图像二值化的阈值

2.3图像处理算法的形式

2.3.1基本功能形式

• 单幅图像->单幅图像
• 多幅图像->单幅图像
• 单(或多)幅图像->数字或符号等

2.3.2几种具体算法形式

2.3.2.1局部处理

• 领域：

  • 对于任一像素(i,j)，该像素周围的像素构成的集合{(i+p,j+q),p、q取合适的整数}，叫做该像素的邻域

    

  • 常用的邻域：下图分别表示中心像素的4-邻域、8-邻域

    

• 局部处理的概念：

  • 对输入图像IP(i,j)处理时，某一输出像素JP(i,j)值由输入图像像素(i,j)及其邻域N(IP(i,j))中的像素值确定。这种处理成为局部处理。

    

    计算公式：

    

• 局部处理的例子

  • 对一幅图像采用3 * 3模板进行卷积运算

  

2.3.2.2点处理：

• 在局部处理中，当输出值JP(i,j)仅与IP(i,j)有关，称为点处理。

  

2.3.2.3大局处理

• 在局部处理中，输出像素JP(i,j)的值取决于图像大范围或者全部像素的值，这种处理成为大局处理。

  

2.3.2.4迭代处理

• 反复对图像进行某种运算直至满足给定的条件，从而得到输出图像的处理形式称为迭代处理。

• 图像的细化处理过程：

  

2.3.2.5跟踪处理

• 选择满足适当条件的像素作为起始像素，检查输入图像和已得到的输出结果，求出下一步应该处理的像素，进行规定的处理，然后决定时继续处理下面的像素，还是终止处理。
• 特点：
  • 目标像素依赖于前一个像素的位置和处理条件。

2.3.2.6窗口处理和模板处理

• 对图像的处理，一般采用对整个画面进行处理，但也有只对画面中特定的部分进行处理的情况。这种处理方式的代表由窗口处理和模板处理。

• 单独对图像中选定的矩形区域内的像素进行处理的方式叫做窗口处理。

  

• 希望单独处理任意形状的区域时，可采用模板处理。

• 模板的概念：任意形状的区域。

• 模板平面：一个和处理图像相同大小的二维数组，用来存储模板信息。一般是一幅二值图像。

• 模板处理：边参照模板平面对图像进行某种操作。

  

• 若模板成矩形区域，则与窗口处理有相同的效果，但是窗口处理与模板处理不同之处是后者必须设置一个模板平面。

2.3.2.7串行处理和并行处理

• 串行处理：
  • 后一像素输出结果依赖于前面像素处理的结果，并且只能一次处理各像素而不能同时对各像素进行相同处理的一种处理形式。
  • 特点：用输入图像的第(i,j)像素邻域的像素值和输出图像(i,j)以前像素的处理结果计算输出图像(i,j)像素的值。处理算法要按照一定顺序进行。
• 并行处理：
  • 对图像内的各像素同时进行相同形式运算的一种处理形式。
  • 特点：输出图像像素(i,j)的值，只用输入图像像素进行运算。各输出值可以独立运算。

2.4图像的数据结构与特征

• 图像数据结构是指图像像素灰度值的存储方式，常用方式是将图像各像素灰度值用一维或者二维数组相应的各元素加以存储。其他方式

2.4.1图像的数据结构

2.4.1.1组合方式

• 方法：一个字长存放多个像素灰度值。
• 特点：节省内存，但是计算量增加，处理程序复杂。

2.4.1.2比特面方式

• 将所有像素灰度的相同比特位用一个二维数组表示，形成比特面。n个比特位表示的灰度图像按比特面方式存储，就得到n个比特面。

• 特点：能充分利用内存空间，便于进行比特面之间的运算，但对灰度图像处理耗时比较多。

  

2.4.1.3分层结构

• 从原始图像开始依次构成像素数越来越少的系列图像，使数据表示具有分层性。代表为锥形(金字塔)结构。

• 锥形结构：对2^k * 2^k 个像素形成的图像，依次构成分辨率下降的k+1幅图像的层次集合。

• 方法：从原图像I0开始，依次产生行列像素数都变为1/2的一幅幅的图像I1,I2,…,Ik。此时，作为像素Ii的各像素的值，就是它前一个图像Ii-1的对应的2*2像素的灰度平均值。

  

• 优点：先对低分辨率图像进行处理，然后根据需要对高分辨率图像进行处理，可提高效率。

2.4.1.4树结构

• 对于如图所示的一幅二值图像的行、列接连不断地二等分，如果图像被分割部分中的全体像素都变成具有相同的特征时，这一部分不再分割。

• 用此种方法，可以把图像用树结构(4叉树)来表示。这可以用在特征提取和信息压缩等方面。

  

2.4.1.5多重图像数据结构

• 对于彩色图像或者多波段图像而言，每个像素包含着多个波段的信息。
• 存储方式有三种：
  • 逐波段存储，分波段处理时采用
  • 逐行存储，逐行扫描记录设备采用
  • 逐像素存储，用于分类

2.4.2图像文件格式

• 按不同的方式进行组织或者存储数字图像像素的灰度，就得到不同格式的像素文件，图像文件按照其格式的不同具有相应的扩展名。
• 常见的图像文件格式按照扩展名分为：RAW格式、BMP格式、TGA格式、PCX格式、GIF格式、TIFF格式等。
• 上述图像格式大致包含下列特征：
  • 描述图像的高度、宽度以及各种物理特征的数据
  • 彩色定义
  • 描述图像的位图数据体

2.4.2.1 RAW格式

• 将像素按照行列号顺粗存储在文件中，这种文件只含有图像像素数据，不含有信息头，因此，在读图像时，需要事先知道图像大小(矩阵大小)，它是最简单的一种图像文件格式。

2.4.2.2 BMP格式

• 由以下四个部分组成：

  • 14字节的文件头
  • 40字节的信息头
  • 8字节的颜色定义
  • 位图数据

• 位图文件头：BITMAPFILEHEADER

  

• 位图信息头：

  

• palette(调色板)

  • 调色板实际上是一个数组，数组中每个元素的类型为RGBQUAD结构，占4个字节。

  • 结构定义如下：

    

  • 有些位图，比如真彩色图，没有调色板，他们的位图信息头后直接是位图数据。

• 位图数据：

  • 分为两种情况：
    • 对于用到调色板的位图，图像数据就是该像素颜色在调色板中的索引值
    • 对于真彩色图，图像数据就是实际的R、G、B值。
  • 对于2色位图，用1位就可以表示该像素的颜色，因此一个字节可以表示8个像素。对于16色位图，用4位可以标识一个像素的颜色，所以1个字节可以表示2个像素；对于256色位图，一个字节刚好可以表示一个像素
  • 对于真彩色图，3个字节才能表示1个像素

2.4.2.3 GIF格式

• GIF图像是基于颜色列表的，最多支持8位。GIF支持在一幅GIF文件中存放多幅彩色图像，并且可以按照一定的顺序和时间间隔将多幅图像依次读出并且显示在屏幕上，这样就可以形成一种简单的动画效果。
• GIF一般由7个数据区组成：头文件、通用调色板、位图数据区以及四个扩充区。

2.4.2.4 TIFF格式

• 文件主要由三个部分组成：
  • 文件头
  • 标识信息区
  • 图像数据区
• TIFF文件有其特有的标识信息，并能进行自定义，是一种开放易于扩展的数据格式，能支持较大数据量和不同定义方式的影像数据，广泛应用于遥感、地理信息领域。

2.4.3图像的特征与噪声

2.4.3.1图像的特征类别

1. 自然特征
   • 光谱特征
   • 几何特征
   • 时相特征
2. 人工特征
   • 直方图特征
   • 灰度边缘特征
   • 线、角点、纹理特征
3. 按照提取特征分为：
   • 点特征：仅由各个像素就能决定的性质。如单色图像中的灰度值、彩色图像中的R G B成分的值。
   • 局部特征：在小邻域内所具有的特征，如线和边缘的强度、方向、密度和统计量(平均值、方差等)等。
   • 区域特征：在图像内的对象物(一般是指与该区域外部有区别的具有一定性质的区域)内的点或者局部的特征分布，或者统计量，以及区域的几何特征(面积、形状)等。
   • 整体特征：整个图像作为一个区域看待时的统计性质和结构特征等。

2.4.3.2特征提取与特征空间

2.4.3.2.1特征提取

• 获取图像特征信息的操作称作特征提取。
• 它作为模式识别、图像理解或者信息量压缩的基础是很重要的。通过特征提取，可以获得特征构成的图像(称作特征图像)和特征参数。

2.4.3.2.2特征空间

• 把从图像提取的m个特征量y1,y2,…ym，用m维的向量Y = [y1 y2 ym]^t表示称为特征向量。另外，对应于各特征量的m维空间叫做特征空间。

2.4.4图像噪声

1. 噪声种类：
   • 外部噪声：如天体放电干扰等
   • 内部噪声：系统内部产生，主要包括四种：由光和电的基本性质引起，机械运动产生的噪声、元器件噪声、系统内部电路噪声等。
2. 噪声特征：
   • 对灰度图像f(x,y)来说，可看作二维亮度分布，而噪声可看作对亮度的干扰，用n(x,y)表示，常用统计特征来描述噪声，如均值、方差(交流功率)、总功率等。
3. 噪声的模型：
   • 按照噪声对图像的影响可分为加性噪声模型和乘性噪声模型两大类。设f(x,y)为理想图像，n(x,y)为噪声，实际输出图像为g(x,y)
   • 加性噪声，与图像光强大小无关，g(x,y)=f(x,y)+n(x,y)
   • 乘性噪声，与图像光强大小相关，随亮度大小变化而变化，g(x,y)=f(x,y)[1+n(x,y)]
4. 图像系统常见的噪声：
   • 光电管噪声
   • 摄像管噪声
   • 前置放大器噪声
   • 光学噪声

1. 图像二值化

1.1. 简单阈值或全局阈值

gray = cv.cvtColor(image, cv.COLOR_RGB2GRAY) #把输入图像灰度化
ret, binary = cv.threshold(gray, 0, 255, cv.THRESH_BINARY | cv.THRESH_TRIANGLE)

简单阈值当然是最简单，选取一个全局阈值，然后就把整幅图像分成了非黑即白的二值图像了。这个函数有四个参数，第一个原图像，第二个进行分类的阈值，第三个是高于（低于）阈值时赋予的新值，第四个是一个方法选择参数，常用的有：
• cv2.THRESH_BINARY（黑白二值）
• cv2.THRESH_BINARY_INV（黑白二值反转）
• cv2.THRESH_TRUNC （得到的图像为多像素值）
• cv2.THRESH_TOZERO
• cv2.THRESH_TOZERO_INV

1.2. 自适应阈值

gray = cv.cvtColor(image, cv.COLOR_RGB2GRAY) #把输入图像灰度化
binary = cv.adaptiveThreshold(gray, 255, cv.ADAPTIVE_THRESH_GAUSSIAN_C,cv.THRESH_BINARY, 25, 10)

前面看到简单阈值是一种全局性的阈值，只需要规定一个阈值值，整个图像都和这个阈值比较。而自适应阈值可以看成一种局部性的阈值，通过规定一个区域大小，比较这个点与区域大小里面像素点的平均值（或者其他特征）的大小关系确定这个像素点是属于黑或者白（如果是二值情况）。使用的函数为：cv2.adaptiveThreshold（）
该函数需要填6个参数：
• 第一个原始图像
• 第二个像素值上限
• 第三个自适应方法Adaptive Method:
— cv2.ADAPTIVE_THRESH_MEAN_C ：领域内均值
—cv2.ADAPTIVE_THRESH_GAUSSIAN_C ：领域内像素点加权和，权 重为一个高斯窗口
• 第四个值的赋值方法：只有cv2.THRESH_BINARY 和cv2.THRESH_BINARY_INV
• 第五个Block size:规定领域大小（一个正方形的领域）
• 第六个常数C，阈值等于均值或者加权值减去这个常数（为0相当于阈值 就是求得领域内均值或者加权值）
这种方法理论上得到的效果更好，相当于在动态自适应的调整属于自己像素点的阈值，而不是整幅图像都用一个阈值。

2. 图像降噪

2.1. 均值滤波

cv2.blur(image, (3, 3))
均值滤波是典型的线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素（以目标像素为中心的周围8个像素，构成一个滤波模板，即去掉目标像素本身），再用模板中的全体像素的平均值来代替原来像素值
均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。

2.2. 高斯滤波

cv2.GaussianBlur(image, (3, 3), 0)
高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。 通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

2.3. 中值滤波

cv2.medianBlur(image, 3)

中值滤波是一种典型的非线性滤波，是基于排序统计理论的一种能够有效抑制噪声的非线性信号处理技术，基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点。该方法在取出脉冲噪声、椒盐噪声的同时能保留图像的边缘细节。这些优良特性是线性滤波所不具备的。

2.4. 双边滤波

cv2.bilateralFilter(image, 5, 21, 21)
bilateral filter双边滤波器可以很好的边缘保护，即可以在去噪的同时，保护图像的边缘特性。双边滤波（Bilateral filter）是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。

3. 图像增强

3.1. 灰度图像

获取灰度图像。
grayscaled = tf.image.rgb_to_grayscale(image)

3.2. 饱和图像

通过提供饱和度因子使图像饱和。
saturated = tf.image.adjust_saturation(image, 3)

3.3. 更改图像亮度

bright = tf.image.adjust_brightness(image, 0.4)

3.4. 基于直方图均衡化的图像增强

直方图均衡化是通过调整图像的灰阶分布，使得在0~255灰阶上的分布更加均衡，提高了图像的对比度，达到改善图像主观视觉效果的目的。对比度较低的图像适合使用直方图均衡化方法来增强图像细节

3.5. 基于拉普拉斯算子的图像增强

使用中心为5的8邻域拉普拉斯算子与图像卷积可以达到锐化增强图像的目的，拉普拉斯算子如下图所示：

3.6. 基于对数Log变换的图像增强

对数变换可以将图像的低灰度值部分扩展，显示出低灰度部分更多的细节，将其高灰度值部分压缩，减少高灰度值部分的细节，从而达到强调图像低灰度部分的目的。变换方法：

3.7. 基于伽马变换的图像增强

伽马变换主要用于图像的校正，将灰度过高或者灰度过低的图片进行修正，增强对比度。变换公式就是对原图像上每一个像素值做乘积运算：

4. 图像几何变化

4.1. 翻转图像

垂直或水平翻转图像。
flipped = tf.image.flip_left_right(image)

4.2. 旋转图像

将图像旋转90度
rotated = tf.image.rot90(image)

4.3. 中心裁剪图像

从中心裁剪图像到所需的图像部分。
cropped = tf.image.central_crop(image, central_fraction=0.5)

5. 图像插值

图像插值是在基于模型框架下，从低分辨率图像生成高分辨率图像的过程，用以恢复图像中所丢失的信息。图象插值方法有：最近邻插值，双线性插值，双平方插值，双立方插值以及其他高阶方法。
cv2.resize(src, dsize[, dst[, fx[, fy[, interpolation]]]])
interpolation 选项 所用的插值方法:
INTER_NEAREST 最近邻插值
INTER_LINEAR 双线性插值（默认设置）
INTER_AREA 使用像素区域关系进行重采样。 它可能是图像抽取的首选方法，因为它会产生无云纹理的结果。 但是当图像缩放时，它类似于INTER_NEAREST方法。
INTER_CUBIC 4x4像素邻域的双三次插值
INTER_LANCZOS4 8x8像素邻域的Lanczos插值

5.1. 最邻插值算法

是最简单的一种插值算法，当图片放大时，缺少的像素通过直接使用与之最近原有颜色生成，也就是说照搬旁边的像素。这样做结果产生了明显可见的锯齿。
在待求象素的四邻象素中，将距离待求象素最近的邻灰度赋给待求象素。

5.2. 双线性插值算法

在数学上，双线性插值是有两个变量的插值函数的线形插值扩展，其核心思想是在两个方向分别进行一次线性插值。
双线性内插法的计算比最邻近点法复杂，计算量较大但没有灰度不连续的缺点，结果基本令人满意。它具有低通滤波性质，使高频分量受损，图像轮廓可能会有一点模糊。

5.3. 三次内插法

该方法利用三次多项式S(x)求逼近理论上最佳插值函数sin(x)/x, 其数学表达式为：

待求像素(x, y)的灰度值由其周围16个灰度值加权内插得到

图像增强是按照特定的需要去除或者突出图像中的某些信息，改善图像的视觉效果，使图像更适合分析。

一般主要分为两种方法，空间域和频率域。空间域直接在图像像素上操作，频率域，其操作是在图像的傅里叶变换上操作。

线性变换------可以应用在由于照明不足，图像对比度比较低的情况中，通过分段的线性变换函数，来对图像对比度进行拉伸。

非线性变换------对数变换完成图像灰度级的扩展或者压缩。伽马变换可以用在电脑的显示器或者网站中图像的伽马校正，也可以用在图像的对比度增强中。

加法运算------对于有噪声的图像，通过图像多张叠加求平均，可以对图像进行降噪。

减法运算------图像相减常用于医学图像处理来消除背景。也可以用在运动检测中。

乘法运算------获取对图像感兴趣的部分，保留感兴趣区域。

直方图均衡------改善图像亮度和对比度。

均值滤波------去除图像高斯噪声。

高斯低通滤波-----是一种加权策略的均值滤波，用来降低噪声。          

中值滤波器-----有效去除脉冲噪声，也叫椒盐噪声。

Laplace算子-----是一种微分算子，应用强调在图像中灰度的突变区域，并不强调灰度级缓慢变化的区域。

Sobel算子-----主要用在工业检测图像的边缘检测。

频率域低通滤波-----去除边缘和噪声。

频率域高通滤波-----把低频图像平滑的区域去掉。

频率域同态滤波-----主要用于减少由于光照不均匀引起的图像降质,并对感兴趣的景物进行有效地增强。能够减少低频并且增加高频，锐化边缘细节。