在计算机视觉领域，图像的分类识别，可以说是最基础，最常见的一个问题，从之前的手动特征提取结合传统的分类模型，到如今的深度学习，虽然分类识别领域的各个数据库的识别率在不断被刷新，从常见物体识别，到细粒度物体识别，到人脸识别，似乎各个细分的图像识别领域都在取得不断进步，每次伴随着这些进步，就会有意无意地激起人们对 AI 的遐想和恐慌。

不得不说，CV 发展了这么多年，确实在不断地进步，不过冷静下来细想，除了各个数据库的指标被不断刷新，似乎最本质的问题，依然没有解决，CNN 在 ImageNet 上的成功，虽然让很多人看到了 AI 在图像分类识别领域的突破，但是，最后还是遇到了瓶颈，当下的分类识别研究，比起十几二十年前，确实有了长足的进步，可是，困难依然重重。

影响图像分类识别的因素有很多，最常见的就是光照，形变，尺度；还有就是遮挡，模糊等，这都是一般的因素。如下图所示：

还有一大类的因素就是同一类别的东西，形态各异，比如下面的 chair 这个类别，所有的图片都可以被认为是 chair，但是要让分类模型去识别这些，可能真的很难，这类问题可以归结为类内差异太大：

最后还有比较常见的就是细粒度分类，就是可能都属于一个大类，但是细分下来，就存在细微的差异，细粒度分类也是图像分类识别里的一个分支，比较常见的分类就是对 狗，鸟，以及飞机的各种型号的分类，这类问题就是类间差异太小。

所以总的来说，影响分类识别的因素可以归结为三个方面：

• 第一种因素，就是比较常见的基于图像本身的一些因素，比如光照，形变，尺度，模糊等等。
• 第二种因素，就是类内差异太大，比如椅子，桌子，虽然都叫椅子，桌子，可是形态各异。
• 第三种因素，就是类间差异太小，最常见的就是细粒度分类。

第一种因素，可以说是所有分类识别问题都会经常遇到的，这是因为真实环境就是各种各样的；第二种因素，很多时候都是因为类别定义的问题，人类有的时候，分类并不是基于物体的形状或者样子，而是基于功能，这种基于功能的抽象的类别定义，让分类模型对分类对象的理解更加困难；第三种因素，是属于细粒度分类的问题。对于后面两种因素，我们这里不做讨论，我们只讨论第一种因素对分类识别的影响。

我们考虑最常见的分类情况，比如对常见交通工具以及各种常见动物的分类等等，真实的自然场景总是复杂多变的，光线有强有弱，形状也会有各种变化，因为换个视角观察，同一个物体呈现在图像上的形状也发生了变化，尺度有大有小，因为拍摄的远近距离不同，同一个物体呈现在图像上的大小也会不同，更不用说模糊，遮挡等因素，所以真实的场景就是包含了各种可能。

我们再来回想一下，分类识别模型的训练及预测， 一般来说，就是给定一个训练集，我们在这个训练集上训练了一个模型，然后将这个模型用在测试集上进行预测，计算出一个准确率，然后就宣称自己的模型可以在这个测试集上达到多少多少的准确率。相信经常看 paper 的人就会发现，这是一个非常似曾相识的套路。

其实，很多模型，换一个数据集，哪怕还是同样的类别，性能立马就会大打折扣，这个对于人类来说，会觉得不可思议，还是同样的狗，为什么换几张图，狗就不是狗了，而是猫或者其他什么匪夷所思的东西，所以说，模型在某些方面的 “聪明” 和 “愚蠢” 经常是同时存在的。

模型的不稳定，或者不够 robust，是目前分类识别中最常遇到的问题，我们经常会看到，对某张图稍微修改几个像素的值，这张图在模型眼里就已经千差万别了。人类的视觉感知，相对来说，会稳定的多。

如果仔细分析，就会发现，分类本质上还是一个 mapping 的过程，从高维的图像空间映射到高维的特征空间，然后再映射到标签空间，网络经过一系列复杂的映射，将同一类的图像聚集到一起。

在真实的自然世界中，同一类的图像，在特征空间往往很难最终聚成某一个点，而是会散布在某个高维空间的某个区域里，而不同类的图像，形成不同的区域，彼此理论上应该是没有混叠的，所以我们会说类内距离和类间距离的概念。类内距离要尽可能的小，类间距离要尽可能的大，所以网络的学习过程，其实就是一个对图像特征重新进行分布的过程。

虽然我们希望所有的图像，都能够在高维空间分开，但是实际上，不同类的区域之间多少总会有重叠，这就造成了我们看到有些图像总是会被分错，因为在特征空间，这些图像的特征已经是混在一起了。

所以说，图像分类问题，本质上还是一个数据拟合的过程，而在真实世界里，自然图像不可能会完美地在高维空间里形成一个个彼此没有混叠的区域，所以总是会有被分错的情况。我们寻找的是错误率最低的那个分界面。

而人类的视觉感知，比 CNN 这些模型要鲁棒的多，因为人类的视觉感知，不是简单的一个函数映射，而是经过了漫长的进化演化而来的，融合了目标检测，背景过滤，联想，决策，推理等等各种因素，交织在一起的一个非常精细的智能系统。不是一个简单的 CNN 网络就能轻易替代的，目前的分类模型，可能会在某个非常细化的领域，识别水平会表现很好，可是这些分类模型都很 “单一”，无法将这种认知能力迁移到其他的地方。

http://blog.sina.com.cn/s/blog_ebbe6d790101dawp.html

今天大嘴总结一下，影响图像以及视频效果的主要因素，这里只讲一些特殊的，什么噪点干扰之类的简单问题这里就不介绍了。

1) 彩色畸变

来自同一场景点的不同的波长的光，由于折射率不同，经过镜头透镜时很可能落在不同的位置。

一般是抵挡镜头镜头(改变光路)、透明防护罩的老化都会出现彩色畸变的问题。

大嘴建议：选择镜头时尽量选择远心镜头(以后我会详细介绍)、防护罩尽量选择质量好的光学玻璃

2) 几何畸变(geometric distortion)

很多低档和小焦距镜头都会引起不同程度畸变。

著名的桶状畸变如下图：

建议：满足需要的情况下尽量选择标准镜头(正常拍摄没必要选择小焦距镜头吧，极限情况当然是“鱼眼镜头”)

3) 散射(scattering)

散射是复合光通过某介质发生分离而形成不同复合光或单色光。

雾天条件下，空气中含有大量的悬浮粒子，由于这些粒子对光线的散射作用，获得的图像对比度比较低，图像模糊不清。

解决方法：加偏振片(大嘴以后会专门介绍偏振片)

4) 光晕

简单的说就是那种就是在前景和背景交界的边缘处的那种朦胧又半透明的效果。

一般是由于CCD每个感光元无法做到绝缘，一个感光源上的电荷会泄漏到相邻的感光源上这种电荷泄露反应在图像上就是会形成光晕。

一时之间未找到由于光晕导致图像模糊的图片，下面这张是在灯光周围产生的光晕现象（大家将就看吧，哇哈哈）

大嘴评述：一般消除光晕效果的常用算法是：retinex(以后作为一个专题来介绍)

5) 感光芯片的差异

拿CCD举例(当然还有CMOS的),由于制造的问题，不同厂家制造的CCD感光元有着不同的感光效果，比如众所周知索尼的CCD一般好于夏普的。

6) 视频编解码中的量化效应/块效应

"块效应" 在学术文献中的解释：基于块的变换编码在图像压缩编码中得到广泛应用，随着码率的降低,量化变得粗糙,(由于块被独立处理)在块的边界会出现不连续,形成重建图像的明显缺陷,称为块效应。

为了减少块效应, 在视频编解码标准中, 通常会增加去块效应的模块. 去块效应有两种方法: 环内去块效应和环外去块效应. 在Mpeg-4, H.264, VC-1等视频标准中采用环内滤波去除块效应. 而Mpeg-1, Mpeg-2, Jpeg等标准则没有定义环内去块效应模块.

7) 隔行转逐行时(未去隔行时)的拉丝效果

将视频帧中隔行扫描的场组合起来，从而使视频帧的各行在播放时按顺序显示即隔行转逐行。组合时，如果未经过去隔行/去交错(deinterlace)会出现拉丝和扭曲效果，影响视频质量。

解决办法：采用相应去去隔行算法(以后具体介绍常用算法)

8) 光线影响

这个自不必多说，解决方法很多：如亮度调整、对比度、白平衡、加滤光片等等。

什么是遥感图像分类技术？

 图像分类是将土地覆盖类别分配给像素的过程。例如，这9个全球土地覆盖数据集将图像分为森林、城市、农业和其他类别。

https://gisgeography.com/free-global-land-cover-land-use-data/
一般来说，这是遥感中的三种主要图像分类技术：
无监督图像分类
监督图像分类
基于对象的图像分析
无监督和监督图像分类技术是两种最常见的方法。https://gisgeography.com/supervised-unsupervised-classification-arcgis/

然而，基于对象的分类最近被使用得更多，因为它对高分辨率数据很有用。https://gisgeography.com/obia-object-based-image-analysis-geobia/

15个免费卫星图像数据源 https://gisgeography.com/free-satellite-imagery-data-list/

无监督分类

在无监督分类中，它首先根据像素的属性将其分组为“簇”。为了创建“聚类”，分析人员使用图像聚类算法，如k-means和isodata。在大多数情况下，他们可以使用这个免费的遥感软件列表来创建土地覆盖图。

https://gisgeography.com/open-source-remote-sensing-software-packages/
在选择了一个聚类算法之后，您可以确定要生成的组的数量。例如，可以创建8个、20个或42个集群。清楚地说，这些是未分类的集群，因为在下一步中，您将用土地覆盖类手动标识每个集群。例如，如果要将植被和非植被分类，则必须将集群合并为两个集群。
总的来说，无监督分类是最基本的技术。因为您不需要样本来进行无监督分类，所以这是一种简单的分割和理解图像的方法。

先生成群、簇，然后分类。

监督分类

在监督分类中，为每个土地覆盖类别选择代表性样本。然后，软件使用这些“训练站点”，并将它们应用到整个图像。
监督分类使用训练集中定义的光谱特征。例如，它根据培训集中最相似的内容来确定每类别。常用的监督分类算法有极大似然分类和最小距离分类。

选择训练区域->生成标签文件->分类

https://gisgeography.com/supervised-unsupervised-classification-arcgis/

基于对象（或面向对象）的图像分析分类

监督和非监督分类是基于像素的。换句话说，它创建正方形像素，每个像素都有一个类。但是基于对象的图像分类将像素分为具有代表性的形状和大小。这一过程是多分辨率分割或段均值偏移。
多分辨率分割通过像素分组产生均匀的图像对象。它同时生成图像中具有不同比例的对象。这些对象更有意义，因为它们代表图像中的特征。

但最重要的是，您可以根据纹理、上下文和几何体对对象进行分类。

在obia中，您可以使用多个条带来创建对象，然后对它们进行分类。例如，obia可以使用红外线、仰角或形状文件对每个对象进行分类。此外，层之间可以有上下文。例如，对象在相邻对象之间具有邻近关系和距离关系。

最近邻分类与监督分类相似。在多分辨率分割之后，用户为每个土地覆盖类别识别样本站点。接下来，他们定义统计信息来对图像对象进行分类。最后，最近邻根据对象与训练站点的相似性和定义的统计信息对对象进行分类。https://gisgeography.com/nearest-neighbor-classification-guide-ecognition/

执行多分辨率分割->选择训练区域->定义统计信息->分类

https://gisgeography.com/nearest-neighbor-classification-guide-ecognition/

遥感数据趋势

• 更普遍
• 更高的空间分辨率
• 更宽的频率范围

为了满足需求，卫星图像的目标是在更宽的频率范围内获得更高的空间分辨率。但是高分辨率的图像不能保证更好的土地覆盖。所使用的图像分类技术是提高精度的一个非常重要的因素。

https://gisgeography.com/100-earth-remote-sensing-applications-uses/

图像分类技术的选择

假设你想在高空间分辨率的图像中对水进行分类。

您决定选择该图像中具有低ndvi的所有像素。但这也可能导致图像中其他非水像素的错误分类。因此，基于像素的分类（如无监督和监督的分类）提供了一种盐和胡椒的外观。

https://gisgeography.com/how-to-ndvi-maps-arcgis/

人类自然地将空间信息聚集成群体。多分辨率分割通过将同质像素分组为对象来完成这项任务。水特征在多分辨率分割后很容易识别。这就是人类形象化空间特征的方式。

什么时候应该使用基于像素的分类（无监督和监督分类）？

什么时候应该使用基于对象的分类？

如本文所述http://www.sciencedirect.com/science/article/pii/S0924271609000884，在选择图像分类技术时，空间分辨率是一个重要因素。

在空间分辨率较低的情况下，传统的基于像素和基于对象的图像分类技术都表现良好。

但是当你有高空间分辨率时，obia优于传统的基于像素的分类。

无监督vs有监督vs基于对象的分类

阿肯色大学的一个案例研究比较了基于对象和基于像素的分类。目的是比较高分辨率和中分辨率图像。http://www.isprs.org/proceedings/xxxviii/4-c7/pdf/Weih_81.pdf
总体而言，基于对象的分类优于无监督和有监督的基于像素的分类方法。因为obia同时使用了光谱和上下文信息，所以它具有更高的准确性。这项研究是一个很好的例子，说明了基于像素的图像分类技术的一些局限性。

https://gisgeography.com/free-global-land-cover-land-use-data/

基于对象分类研究的增长

像素是图像中表示的最小单位。图像分类使用单个像素的反射统计信息。
在技术进步和高空间分辨率图像的可用性方面，已经有了很大的增长。但是图像分类技术也应该被考虑在内。聚焦于基于对象的图像分析，以提供高质量的产品。
根据谷歌学者的搜索结果，所有的图像分类技术都显示出出版物数量的稳步增长。近年来，基于对象的分类方法有了很大的发展。
此图使用“alliantile：”搜索短语显示谷歌学者的年度搜索结果。

如果您喜欢这本图像分类技术指南，我建议您下载遥感图像分类信息图。

原文链接：https://gisgeography.com/image-classification-techniques-remote-sensing/

References:

1. Blaschke T, 2010. Object based image analysis for remote sensing. ISPRS Journal of Photogrammetry and Remote Sensing 65 (2010) 2–16
2. Object-Based Classification vs Pixel-Based Classification: Comparitive Importance of Multi-Resolution Imagery (Robert C. Weih, Jr. and Norman D. Riggan, Jr.)
3. Multiresolution Segmentation: an optimization approach for high quality multi-scale image segmentation (Martin Baatz & Arno Schape)
4. Trimble eCognition Developer: http://www.ecognition.com