2019-12-06 14:42:49 zzj_csdn 阅读数 48
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4388 人正在学习 去看看 黄晓军

       2006年,加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生在《科学》上发表了一篇文章,开启了深度学习在学术界和工业界的浪潮。

       深度学习摧枯拉朽般地实现了各种任务,使得似乎所有的机器辅助功能都变为可能。无人驾驶汽车,预防性医疗保健,甚至是更好的电影推荐,都近在眼前,或者即将实现。

那么,深度学习算法在遥感图像处理领域是否也能发挥它的“神奇”功效,在哪些方面遥遥领先于传统方法呢?小编整理了《中国图象图形学报》2017—2019年的高关注论文,总结了深度学习在遥感图像处理中的六大应用:

  • 遥感图像检索

  • 遥感图像融合

  • 遥感图像超分辨率重建

  • 高光谱图像分类

  • 高分辨率遥感图像分类

  • SAR图像目标识别

01

遥感图像检索

如何快速且高精度地对海量遥感图像数据进行高效检索?

传统的基于内容的图像检索(CBIR)系统主要通过提取低层次的图像特征(颜色、纹理、形状)进行检索,由于没有获取图像的高层语义特征,故存在着低层视觉特征与用户对图像理解的高层语义不一致,从而导致“语义鸿沟”问题的产生。

而在图像检索过程中,卷积神经网络(CNN)通过多层次的网络学习,针对提取到的丰富特征进行检索,使得检索精度大大提升。

 

02

遥感图像融合

 

全色图像的空间细节信息增强和多光谱图像的光谱信息保持通常是相互矛盾的,如何在这对矛盾中实现最佳融合效果?

传统的多光谱与全色图像的融合方法主要包括亮度色调饱和度(IHS)法,主成分分析(PCA)法以及正交变换(GS)法等分量替代方法。这些方法能够有效提高融合图像的空间分辨率,但存在较为严重的频谱失真问题。

近年来,以小波变换为典型的多分辨率分析方法能够得到更好的多光谱图像融合效果,但存在不能有效地表示2维图像信号的缺陷。

深度学习被广泛应用于图像处理的今天,能否借助其思想,提升多光谱与全色图像的融合效果呢?

 

03

遥感图像超分辨率重建

 

如何经济便捷地获取高分辨影像一直是遥感领域的一大挑战,超分辨率(SR)重建技术恰为此类问题的解决提供了思路。

 当前主要的SR重建方法有3类:插值法、重构法和学习法。插值法是最早的SR重建方法,复杂度最低,实时性好,但结果中边缘效应明显,对细节恢复较差。

重构法是一类以时间宽度换取空间分辨率提升的方法,操作复杂,效率较低,通用性较差,目前针对遥感图像的SR重建大多仍停留在此类方法上。

学习法近年迅速发展,其克服了重构法分辨率提高倍数难确定的限制,且可面向单幅图像,是当前SR重建的主流发展方向。

学习法一般依靠构造高、低分辨率图像库,通过样本学习得到二者间内在对应关系,目前常见的基于学习的SR重建方法有邻域嵌入法、稀疏表示法和卷积神经网络(CNN)法。

 

04

高光谱图像分类

 

针对高光谱图像分类问题,既要考虑分类模型的有效性,也要充分利用丰富的空间和光谱信息。

高光谱遥感图像数据包含丰富的空间和光谱信息,但由于信号的高维特性、信息冗余、多种不确定性和地表覆盖的“同物异谱”及“同谱异物”现象,导致高光谱数据结构呈高度非线性。

与传统的人工设计特征相比,基于深度学习的图像分类能够自动提取从底层到高层语义的抽象特征,将图像转换成更容易识别的高级特征,经分类器实现图像像素到标签的映射。

3D-CNN(3D convolutional neural network)能够利用高光谱遥感影像数据立方体的特性,实现光谱和空间信息融合,提取影像分类中重要的有判别力的特征。

 

05

高分辨率遥感图像分类

 

目前CNN模型在高分辨卫星图像分类领域已经有了许多应用,但是依然存在问题。

首先,CNN模型的训练需要大量有标签样本。由于高分辨卫星图像分类领域的训练样本缺乏,上述方法普遍使用交叉验证或者随机选取的方法在有限数据上进行模型的训练和测试,模型得不到充分的训练,并且结果的说服力不足。

其次,由于有标签样本数量的限制,既不能直接训练CNN模型,也无法充分微调深层CNN模型。再次,上述方法普遍使用了CNN模型堆叠或CNN特征和传统分类器的堆叠,增加了模型和计算的复杂度。

因此,使用卷积神经网络进行高分辨率遥感影像分类需首先考虑以上问题。

06

SAR图像目标识别

 

SAR图像自动目标识别在国民经济和国防建设中有着广泛的应用,如海洋监测系统、舰船目标识别、矿藏探测等。

目前主要的SAR图像目标识别算法包括基于模板匹配的方法、基于支持向量机的方法、基于Boosting的方法、基于稀疏表示的方法等。

基于卷积神经网络的深度模型已经开始应用于SAR图像目标识别,通过学习得到的特征进行分类能够取得较高的识别精度,但是基于深度卷积神经网络的SAR目标识别方法需解决以下问题: 

  • 较少的训练样本

  • 深度模型的优化设计

  • 较长的训练时间

来源:中国图象图形学报

https://mp.weixin.qq.com/s/nRMF0-WD2ij3xkq_PG4v9g

 

 

2018-02-27 21:57:05 flopf1016821 阅读数 5550
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4388 人正在学习 去看看 黄晓军

前述

根据语义特征对遥感图像场景进行分类是一项具有挑战性的任务。因为遥感图像场景的类内变化较大,而类间变化有时却较小。不同的物体会以不同的尺度和方向出现在同一类场景中,而同样的物体也可能出现在不同的场景里。

理论上,深度学习能够通过提取遥感图像的高层次特征,表征出遥感场景间的细微差别。然而,目前遥感领域并不具备足够的带标签的遥感图像用于训练深度学习中网络模型中巨量的结构参数。当采用现有遥感数据集训练深度网络模型时会出现严重的过拟合。将在 Image Net 上训练得到的深度网络模型迁移至遥感图像场景分类也成为深度学习理论应用于遥感领域的重要发展方向。经 Image Net 数据集预训练的模型能够成功迁移至遥感场景分类任务的原因在于,遥感图像和日常可见光图像的基本视觉模块(例如:边、角)是相同的。

迁移学习(Transfer Learning)的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。目前大多数机器学习算法均是假设训练数据以及测试数据的特征分布相同。然而这在现实世界中却时常不可行。例如我们我们要对一个任务进行分类,但是此任务中数据不充足(在迁移学习中也被称为目标域),然而却又需要大量的相关的训练数据(在迁移学习中也被称为源域),但是此训练数据与所需进行的分类任务中的测试数据特征分布不同(例如语音情感识别中,一种语言的语音数据充足,然而所需进行分类任务的情感数据却极度缺乏),在这种情况下如果可以采用合适的迁移学习方法则可以大大提高样本不充足任务的分类识别结果。也即是大家通常所说的将知识迁移到新环境中的能力,这通常被称为迁移学习。当两者的相似度并不大的时候,会出现负迁移的情况,这个时候就不适合做迁移。


预训练模型

简单来说,预训练模型(pre-trained model)是前人为了解决类似问题所创造出来的模型。你在解决问题的时候,不用从零开始训练一个新模型,可以从在类似问题中训练过的模型入手。比如说,如果你想做一辆自动驾驶汽车,可以花数年时间从零开始构建一个性能优良的图像识别算法,也可以从Google在ImageNet数据集上训练得到的inception model(一个预训练模型)起步,来识别图像。一个预训练模型可能对于你的应用中并不是100%的准确对口,但是它可以为你节省大量功夫。

通过使用之前在大数据集上经过训练的预训练模型,我们可以直接使用相应的结构和权重,将它们应用到我们正在面对的问题上。这被称作是“迁移学习”,即将预训练的模型“迁移”到我们正在应对的特定问题中。在选择预训练模型的时候你需要非常仔细,如果你的问题与预训练模型训练情景下有很大的出入,那么模型所得到的预测结果将会非常不准确。 
预训练模型已经训练得很好,我们就不会在短时间内去修改过多的权重,在迁移学习中用到它的时候,往往只是进行微调(fine tune)。在修改模型的过程中,我们通过会采用比一般训练模型更低的学习速率


如何使用预训练模型:

场景一:数据集小,数据相似度高(与pre-trained model的训练数据相比而言) 
在这种情况下,因为数据与预训练模型的训练数据相似度很高,因此我们不需要重新训练模型。我们只需要将输出层改制成符合问题情境下的结构就好。我们使用预处理模型作为模式提取器。比如说我们使用在ImageNet上训练的模型来辨认一组新照片中的小猫小狗。在这里,需要被辨认的图片与ImageNet库中的图片类似,但是我们的输出结果中只需要两项——猫或者狗。在这个例子中,我们需要做的就是把dense layer和最终softmax layer的输出从1000个类别改为2个类别。

场景二:数据集小,数据相似度不高 
在这种情况下,我们可以冻结预训练模型中的前k个层中的权重,然后重新训练后面的n-k个层,当然最后一层也需要根据相应的输出格式来进行修改。因为数据的相似度不高,重新训练的过程就变得非常关键。而新数据集大小的不足,则是通过冻结预训练模型的前k层进行弥补。

场景三:数据集大,数据相似度不高 
在这种情况下,因为我们有一个很大的数据集,所以神经网络的训练过程将会比较有效率。然而,因为实际数据与预训练模型的训练数据之间存在很大差异,采用预训练模型将不会是一种高效的方式。因此最好的方法还是将预处理模型中的权重全都初始化后在新数据集的基础上重头开始训练。

场景四:数据集大,数据相似度高 
这就是最理想的情况,采用预训练模型会变得非常高效。最好的运用方式是保持模型原有的结构和初始权重不变,随后在新数据集的基础上重新训练。


微调模型的方法 :
如何使用与训练模型,是由数据集大小和新旧数据集(预训练的数据集和我们要解决的数据集)之间数据的相似度来决定的。 
特征提取 
我们可以将预训练模型当做特征提取装置来使用。具体的做法是,将输出层去掉,然后将剩下的整个网络当做一个固定的特征提取机,从而应用到新的数据集中。

采用预训练模型的结构 
我们还可以采用预训练模型的结构,但先将所有的权重随机化,然后依据自己的数据集进行训练。

训练特定层,冻结其他层 
另一种使用预训练模型的方法是对它进行部分的训练。具体的做法是,将模型起始的一些层的权重保持不变,重新训练后面的层,得到新的权重。在这个过程中,我们可以多次进行尝试,从而能够依据结果找到frozen layers和retrain layers之间的最佳搭配。

2018-10-18 15:28:54 qq_33431061 阅读数 3940
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4388 人正在学习 去看看 黄晓军

文章:

利用深度卷积特征进行多时相遥感图像配准

《Multi-Temporal Remote Sensing Image Registration Using Deep Convolutional Feature》

code:https://download.csdn.net/download/qq_33431061/10727995

 

一.摘要

       多时相遥感图像的配准已广泛应用于军事和民用领域,例如地面目标识别,城市发展评估和地理变化评估。地面变化对特征点检测的质量和数量有很大挑战,这是基于特征的配准算法的常见困难。在严重的外观变化下,检测到的特征点可能包含大部分异常值,而正常的可能不充分且分布不均匀。本文提出了一种基于卷积神经网络(CNN)特征的多时相遥感图像配准方法,它有两个关键的贡献:(i)我们使用CNN生成鲁棒的多尺度特征描述符;(ii)我们设计逐渐增加的特征点,以提高特征点配准的稳健性。在多时相卫星图像数据集和多时间无人驾驶飞行器图像数据集上执行关于特征匹配和图像配准的广泛实验。在大多数情况下,我们的方法优于四种最先进的方法。

二.介绍

        图像配准是在图像之间找到最佳对齐的过程。这是一项基本任务,以便能够集成和比较从不同视点,不同时间或不同传感器捕获的图像。多时相遥感图像的登记具有已广泛应用于军事和民用领域,如地面目标识别,城市发展评估,地理变化评估等。

        图像配准的方法可以分为两大类:(i)基于区域的方法和(ii)基于特征的方法。基于特征的方法不是直接使用图像相位频率(基于区域的方法),而是使用表示高级信息的特征描述符,因此在期望外观变化的多时相分析中更为可取。由于我们主要致力于在这项工作中开发基于特征的方法,因此我们在(ii)中介绍和讨论当前的方法。大多数基于特征的方法依赖于SIFT或其改进版本来检测特征点,因为它具有突出的尺度和旋转不变性。然而,在存在一定程度的外观差异的多时间或多传感器图像配准中,SIFT检测到的特征点可能包含严重的异常值。在更糟糕的情况下,SIFT无法检测到足够数量的特征点。这些问题限制了图像配准的应用。

       在这项工作中,我们提出了一种新颖的非刚性图像配准方法。我们的两项重要贡献可归纳如下。(i)我们使用来自预训练的VGG 网络层生成多尺度特征描述符。针对卷积神经网络在图像配准中的有效利用,我们的特点是利用高级卷积信息,同时保留了一些定位能力。(ii)我们设计了一个按照倾向特征的点集匹配。我们设计了逐渐增加的特征点选择,而不是使用正常和异常值的固定区分。在配准的早期阶段,粗略转换由最可靠的特征点快速确定。之后,通过增加特征点的数量来优化配准细节,同时限制不匹配的特征点。通过卷积特征和几何结构信息来评估逐点对应。

       将我们的特征检测方法与SIFT进行比较。我们的图像配准方法在多时相卫星图像和无人机图像上进行了测试,并与四种最先进的工作进行了比较。我们通过测量特征预匹配的精度来比较特征检测方法。通过测量相应像素之间的距离来评估配准的性能。

       本文的其余部分安排如下。 第2节回顾了有关基于特征配准问题的经典和前沿研究。第3节介绍了我们工作的详细方法。第4节演示我们的实验。结论见第5节。

三.相关工作

      基于特征的图像配准方法通常包括四个阶段。
1)使用诸如SIFT之类的特征描述符在一对图像(即感测和参考图像)中检测足够数量的特征点。
2)通过在特征空间中找到最近邻居来估计初步的逐点对应关系,我们称之为特征预匹配。
3)非刚性点集注册,其搜索最佳变换参数。(达到以点代面的效果)
4)图像变换,其根据恢复的变换重新采样感测的图像。

      之后介绍近年来各种基于SIFT引入的新技术,如RANSAC、PR-GLS等。这些基于SIFT的方法在严重的外观变化下有特征点不足和高异常值的问题。

      在点集配准阶段也有不同的解决方案。经典方法是通过概率优化,用高斯混合模型(GMM)测量对准程度。基于GMM的一种代表性方法是Coherent Point Drift(CPD),其在每个感测的特征点上放置高斯分布质心,然后在期望最大化框架下迭代地更新点位置。

      在过去几年中,已经研究了卷积神经网络(CNN)来处理遥感数据。 Zhang et al 开发了一套有效的基于CNN的方法来提取特征,对场景进行分类并检测特定的地面目标。许多作品使用CNN来学习特征描述。MatchNet提供了一种统一的方法来学习特征表示并学习特征比较,从而提高计算效率。它由一个深度卷积网络组成,该网络从块中提取特征,并由三个完全连接的层组成的网络计算所提取特征之间的相似性。为了克服标签数据的不足,Du et al 提出了一个有效融合数据代表性和信息性的通用主动学习框架和一个称为堆叠卷积去噪自动编码器的无监督深度网络,它可以将图像映射到没有任何标签信息的分层表示。Žbontar和LeCun 训练卷积神经网络来预测两个图像块匹配的程度,并用它来计算立体匹配成本。这些方法使用相对较大的图像块并专注于从图像块中计算某些度量,而不需要本地化。在我们的方法中,我们尝试利用高级卷积信息,同时保留一些本地化功能。

       目前已经开发了几种方法来进行类别级别配准。这些工作试图训练特定的网络进行特征提取和配准。 Kanazawa等构建了一个连体网络来预测变换并在 fine-grained 数据集上进行训练。Rocco et al 提出了一种基于三个主要组件的架构,模仿了特征提取,匹配和模型参数估计的标准步骤,每个组件都是可训练的网络。在我们提出的方法中,CNN仅用于特征提取,对于点集配准,我们在传统框架上构建了一种新颖的方法。这种选择的原因是神经网络只能产生有限的,恒定数量的变换参数,因此不能纠正复杂的失真并且不适合于遥感配准。

四.方法

A.解决方案框架

      该算法的目的是变换感测图像I_Y,使其与参考图像I_X对齐。 我们从参考图像中检测特征点集X,并从感测到的图像中检测特征点集Y. 接下来我们使用基于期望最大化(EM)的过程来获得Y的变换位置,即Z.Y和Z,以求解用于图像变换的thin plate spline(TPS)插值。 我们方法的主要过程如图1所示。


在整篇论文中,我们使用以下符号:
X_{N\times 2}Y_{M\times 2} - 分别从参考图像和感测图像中提取的特征点集。
Z - 转换Y的位置。
N,M - 分别为XY的点数。
X_{n}Y_{m}- 指向点集X中索引n处的点; 指向点集Y中的索引m

B.特征描述和预匹配

(1)生成特征描述符

        我们的卷积特征描述符是使用预训练的VGG-16网络中某些层的输出构建的,这是一个对1000个类别进行分类的图像分类网络。 由于其一些理想的特性,VGG被选中用于此任务:(i)其在图像分类方面的卓越性能证明了其分辨能力。 (ii)结构简洁,仅通过堆叠卷积层,池化层和全连接层的构建,而没有采用分支或捷径连接来加强梯度流。 这种设计使得该网络适用于不同的目的。 (iii)它非常深,受过大量多样化图像数据的训练。 因此,其卷积滤波器可以通用并进行非常好的推广。 VGG经常用于许多计算机视觉解决方案中的特征提取,例如fastRCNN物体探测器和超分辨率生成对抗网络(SRGAN)。

       基于卷积滤波器的可视化和使用单层输出作为特征的三重误差实验,已经选择了几个网络层来构建我们的特征描述符。 我们主要考虑卷积滤波器的普遍性和选择层时的感受域大小。 神经网络中的卷积层包含各种小滤波器,并且每个滤波器在输入图像中搜索特定模式。通过在使用随机值生成的输入图像上应用梯度上升,可视化VGG-16的每个卷积层中的滤波器。 我们选择使用在Imagenet数据集上训练的VGG网络,以便我们的特征描述符通用。图3显示了代表性的可视化滤波器。 pool5层不用于特征,因为它受特定分类对象的影响,因此不适合检测一般特征。

       由于我们只使用卷积层来提取特征,因此输入图像可以是任何大小,只要高度和宽度是32的倍数。但是,输入图像的大小可以有两个方面的影响:(i)每个描述符的感知域将不同并影响性能。(ii)较大的输入图像需要更多的计算。我们将输入图像的大小调整为224×224,然后通过网络传播,以便具有适当大小的感知字段和减少计算。三层的输出用于构建我们的特征:pool3,pool4和block5conv1之后添加最大池化层,即pool5_1。 这些图层搜索一组通用模式并生成特征响应值,这些值可以很好地覆盖不同大小的感知字段。

      如图2所示,VGG-16包含5个卷积计算块,每个块具有2-3个卷积层和最大池化层(VGGNet中全部使用了3*3的卷积核和2*2的池化核)。 我们在输入图像上划分28×28网格划分我们的图像块,每个块对应于pool3输出中的256-d矢量,每8×8生成一个特征描述符。 每个块的中心被视为特征点。 256-d向量被定义为pool3特征描述符。 pool3层输出直接形成我们的pool3特征映射F1,其大小为28×28×256。pool4层输出的大小为14×14×512,处理方式略有不同。 在每个16×16区域中,我们生成一个pool4描述符,因此它由4个特征点共享。 如公式1所示,使用Kronecker乘积(由\otimes表示)获取pool4特征图F2:F_2 =O_{pool4} \otimes I_{2\times 2\times 1}

       [ 注释:VGGNET输入224x224x3的RGB图像,第一个卷积层之前pooling一圈0,有64个3x3的卷积核,之后结果224x224x64,之后进入第一个池化层,结果112x112x64;同理,卷积核个数依次变成128,256,512;经过13个卷积层,5个池化层;然后Flatten(),将数据拉平成向量,变成一维512*7*7=25088;接着是三个全连接层,全连接层有4096,4096,1000个神经元,最后1000是分类数,这里4096只是个经验值,其他数也可以,只要不要小于要预测的类别数。如果你想用VGG16 给自己的数据作分类任务,这里第三层就需要改成你预测的类别数。]

       [ 图4没看懂,运用了克罗内克乘积找特征点 ]

       在获取F1,F2和F3之后,将特征图标准化为单位方差,F_i\leftarrow \frac{F_i}{\sigma (F_i)},i=1,2,3,其中σ(·)计算矩阵中元素的标准偏差。点x的pool3,pool4和pool5_1的特征描述符分别由D1(x),D2(x)和D3(x)表示。

(2)特征预匹配

      首先定义我们的特征的距离度量。两个特征点x和y之间的特征距离是三个距离值的加权和:

        [ d1前根号二,因为pool3是256维,pool4 5是512维 ]

      每个分量距离值是各个特征描述符之间的欧几里德距离:

      

      特征点x、y匹配的条件:

      1)d(x; y)是所有d(·; y)中最小的。
      2)不存在d(z; y)使得d(z; y)<θ·d(x; y)。θ是大于1的参数,称为匹配阈值。
      这种匹配方法不保证双射。

C.动态内点选择

       我们的特征点是在方形图像块的中心生成的。 在变形的情况下,相应的特征点可能使其图像块部分或完全重叠。 因此,为了实现更准确的配准,具有更大重叠比的特征点应该具有更好的对准度,其中部分重叠的图像块应该在它们的中心之间具有小的距离。 使用我们的动态内点选择确定对齐程度。

      在使用EM算法迭代求解Z(每次迭代中Y的变换位置)时,我们在每k次迭代中更新内点的选择。 选择作为内点的点引导点位置的移动,而异常值则相干地移动。 在特征预匹配阶段,使用低阈值θ0选择大量特征点以滤除不相关的点。 然后我们指定一个大的起始阈值θ',只有正确的内点(具有重叠块的特征点)才满足。在剩余的配准过程中,在每k次迭代中将阈值θ减去步长δ,允许更多的特征点影响变换。 这使得强匹配的特征点能够确定整体变换,而其他特征点可以优化配准精度。

      内部选择产生M×N先验概率矩阵Pr,然后由我们的基于高斯混合模型(GMM)的变换求解模型获取。 Pr [m;n]是Xn和Ym相对应的推定概率(putative probability)。 假设Xn对应于Ym,我们得到一个大的推定概率Pr[m;n]。并且大的概率将进一步导致Ym的显着变换。

      使用卷积特征和几何结构信息确定推定概率。通过以下过程获得先验概率矩阵Pr:

      (1)准备卷积特征代价矩阵[ M*N ]

         [ 6 ]

       条件1是当Ym和Xn是阈值θ下的有效匹配时。d(·;·)是先前定义的卷积特征的距离度量。 d(max;θ)是阈值θ下所有匹配特征点对的最大距离。

      (2)使用形状上下文计算几何结构代价矩阵C{geo},这是一个基于直方图的描述符,用于描述点的邻域结构。 描述符将轮廓点放置在极坐标系的中心,并记录落在弧形域中的点数。 通过进行χ2检验获得C{geo}:h{y;m} h{x;n}是ym;xn周围的内点个数。

        [ 7 ]

      (3)计算综合代价矩阵C,因为C{conv;θ}和C{geo}都在0-1之间,利用Hadamard乘积(*),C=C{conv;θ}*C{geo}。[ 8 ]

      (4)应用Jonker-Volgenant算法来解决代价矩阵C上的线性分配。分配的点对被认为对应的。最后,计算先验概率矩阵:

         [ 9 ],\varepsilon是一个0-1的参数值,根据我们对内部配对点指定。 先验概率矩阵需要归一化:,阈值的步长由下边这个公式决定:

D.主要流程

      我们将点集Y视为高斯混合模型(GMM)质心。 GMM概率密度函数定义为:(左);gm(x)是正态分布密度函数:(右)

           

      该模型对混合模型中的每个单个高斯质心使用方差σ2。 添加一个额外的均匀分布项1/N以考虑加权参数w,0 <w <1。然后,我们使用期望最大化(EM)算法来找到最优变换参数(W;σ2;w)。这种方法的目的是最大化似然函数(左),或等效地最小化负对数似然函数:

          

      (左)由于存在不可观察的变量m,我们无法直接计算梯度。(右)P{old;(m|xn)}表示使用来自最后一次迭代的参数计算的后验概率项。扩展此等式并省略派生的冗余项后,该等式可以重写为:

      

      其中  表示ym的变换位置。非刚性变换定义为:Z=Y+GW [ 16 ],其中G是由高斯径向基函数(GRBF)生成的矩阵,W包含要学习的变换参数。

       [ 17 ]

     之后我们得到了一个基于运动相干理论(MCT)的正则化项:

      

      其中tr(·)表示跟踪操作。 EM算法迭代地计算期望和最小化梯度直到收敛。 E Step:使用来自最后一次迭代的参数计算后验概率矩阵Po。M Step:求解导数和更新参数。

      

E.细节

•参数设置
        在特征预匹配阶段,通过选择最可靠的128对特征点自动确定阈值θ0。 类似地,通过选择最可靠的64对特征点来确定θ'。 在内部选择阶段,步长δ由δ=(θ'-θ0)/10; 置信参数\varepsilon设置为0.5; 形状上下文在径向上使用5个bin,在切线方向上使用12个bin。 在点集登记阶段,退火常数α设定为0.95; 高斯径向基方差β设定为2。

•初始化
        在特征提取之前,输入图像的大小调整为224×224。 异常值平衡权重w初始化为0.5,将λ初始化为2,将变换系数W初始化为全零的矩阵。GMM方差σ2使用以下方式初始化:

        

•计算代价
        单个224×224图像的特征计算需要13.45B FLOPs。在2.9GHz双核Intel i5 CPU上,需要1.2秒。在求解矩阵PO时,我们得到最差成本时间O(N^3)。权重矩阵W具有N×N个条目,每个条目需要N次迭代来计算,因此,复杂度为O(N^3)。总的来说,点集注册具有O(N^3)的复杂度。

四.实验

        在多时相卫星图像数据集和多时相无人机图像数据集上测试。将我们的特征描述符与SIFT进行比较,我们的图像配准方法针对四种基于SIFT的最先进方法进行了测试:CPD,GLMDTPS,GL-CATE和PRGLS。

(1)特征预匹配精度测试
        特征预匹配是图像配准的重要中间阶段,我们将卷积特征与SIFT进行比较。在每对测试图像中,我们使用两种方法提取和预匹配特征点。然后,使用最可靠的95-105对匹配,并通过Precision=TP/(TP+FP)测量精度。 通过控制阈值来选择成对的匹配点。

        算法:使用深度卷积特征和动态内点选择(DeepIRDI)进行图像配准

INPUT: Ix,Iy
1.初始化参数: θ0, θ', δ, k, β, epsilon, w, σ^2, W, λ
2.预匹配和根据θ0从Ix,Iy中选择卷积特征点集X和Y
3.根据公式17构造高斯核
4.初始化θ=θ'
5.DO
    迭代k次:
        根据公式6计算卷积特征代价矩阵C{conv;θ}
        根据公式7计算几何结构代价矩阵C{geo}
        根据公式8计算代价矩阵C
        采用Jonker-Volgenant算法求解成本矩阵C的线性分配
        根据公式9计算先验概率矩阵
        更新θ=θ-δ
    END

    E-Step:
        根据公式19计算后验概率矩阵Po
    END

    M-Step:
        根据公式20更新W
        根据公式16计算Z
        根据公式21,22更新w, σ^2
    END
  WHILE 公式15不收敛
6.使用thin plate spline计算变换图像Iz。
OUTPUT:  Iz

(2)图像配准准确性测试
        使用通过不同方法生成的配准图像进行这种类型的实验。在每对遥感和配准的图像中,测试者识别15对指定的标记点。测试仪记录图像上的标点的位置,并根据每对标点之间的距离测量误差。误差度量是均方根距离(RMSD),平均绝对距离(MAD),距离中值(MED)和距离标准偏差(STD)。

(3)数据集
        上述两种类型的实验均在两个数据集上进行:(i)从Google Earth获得的多时相卫星图像数据集; (ii)使用具有CMOS相机的小型无人机(DJI Phantom 4 Pro)捕获的多时相无人机图像数据集; 每个数据集包括15对图像。图像的大小范围为600×400到1566×874。我们的数据集中的图像对包含显著的外观变化和轻微的错位,旋转或视点变化。

B.特征预测精度测试的结果

       略

C.图像配准准确性测试的结果

        略

五.结论
        我们提出了一种基于特征的图像配准方法,它有两个关键的贡献:(i)我们使用预训练的VGG网络构建基于卷积神经网络的特征提取方法。针对卷积神经网络在图像配准中的有效利用,我们的特征描述符利用高级卷积信息,同时保留了一些定位能力。 (ii)我们提出了一个特征点配准程序,该程序使用逐渐扩大的内部选择,以便在配准的早期阶段通过最可靠的特征点快速确定粗略变换。之后,通过增加特征点的数量来优化注册细节,同时限制不匹配。与SIFT相比,在两个多时相数据集上进行的特征预匹配测试显示出相当大的准确度提升,图像配准测试显示我们的方法在大多数情况下优于四种最先进的方法。

2018-10-20 16:34:13 qq_33431061 阅读数 1313
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4388 人正在学习 去看看 黄晓军

文章:

基于深度学习的遥感图像配准

《A deep learning framework for remote sensing image registration》

 

一.背景

        随着对地观测技术的不断发展与更新,获取遥感图像的传感器也越来越多。为了分析某一场景,我们有时需要把不同时期的、不同传感器的、甚至于不同视角的遥感图像融合在一起处理,因此需要对遥感图像进行配准,将多幅遥感图像进行匹配和叠加。

二.问题描述

        传统的基于特征的图像配准方法依赖于人工设计的特征,其中最具代表性的是SIFT特征,具有旋转不变性、平移不变性、尺度不变性等特性。但是,由于遥感图像成像机理复杂多样,SIFT特征的不变性特性在遥感图像中受到影响,导致遥感图像无法精确配准。如下图所示,我们从待配准图像中随机选取了10对匹配的SIFT特征点,箭头指示的方向为特征点的主方向,很明显可以看出这些匹配点的主方向不一致。因此,SIFT特征不再具有旋转不变性。

三.方法动机

        与一般的自然图像不同,遥感图像的获取方式多种多样,且图像内容难理解、目标特征不明显。人工设计特征的方法在遥感图像中适用范围较窄,无法预知不可控的遥感图像变化,不能提取到具有判别性的特征。

        同时,在传统的方法中,特征提取和特征匹配之间没有信息的反馈,使得特征提取算子不能根据待配准的图像进行自适应的调节。因此,我们提出基于深度学习的遥感图像配准,将特征提取和特征匹配统一在一个端到端的框架中,直接学习图像块对到匹配标签的映射函数。

        但是,深度神经网络强大的学习能力需要大量有标记的训练样本的支持。由于遥感图像的获取非常昂贵,我们很难得到足够多的训练样本,且手工标记样本的代价较大。因此,我们提出基于自学习的遥感图像配准方法,从待配准的遥感图像中自动获取大量的有标记的训练样本。

四.方法

4.1 框架

        本文提出的深度学习框架如图2所示。与传统的基于特征的图像配准方法不同,我们将特征提取与特征匹配联合在深度学习框架中,直接学习图像块对与匹配标签之间的关系。网络的输入是两个图像块对,输出为其对应的匹配标签。然后,利用训练好的深度神经网络预测两个待配准图像组成的图像块对的匹配标签。

        图2. 本文的方法框架图,主要包括两个部分:深度神经网络的训练和图像配准。首先,基于深度神经网络学习图像块对到匹配标签的映射;然后,利用训练好的神经网络预测待配准图像中图像块对的匹配关系;最后,剔除错误的匹配点对,计算待配准图像之间的变换矩阵,配准图像。

        [ 注释:两个图片,首先提取特征,如SIFT特征,之后在特征点上分割s*s大小的图像块,若两个图象分别有m、n个特征点,则图像块P1{p10,p12...p1m},P2{p20,p21...,p2n},图像块对{P1i,P2j},将这个图像块对连成一个图像块,大小2*s*s,如图上半部分的蓝色红色条块,将这个图像块作为DNN的输入,输出是匹配标签Yij,=0不匹配,=1匹配。]

4.2 自学习

        为了解决训练样本少这个问题,提出一种自学习策略,如图3所示。根据一组变化的矩阵变换图像,这些变换矩阵包括平移,缩放,旋转等。然后从待配准的遥感图像及其变换图像中自动获取大量的有标记的训练样本。

        [ 注释:一个图像经过平移旋转缩放等变化之后,一个特征点对会生成一个对应的特征点,这两个点是匹配的,还有更多不匹配的,在不匹配的中随机选择一个,保证匹配点和不匹配点数量均等 ]

         图3. 自学习策略示意图,从待配准的遥感图像和其变换图像中获取大量的匹配和不匹配的训练样本。

4.3 DNN预训练

        常见的DNN训练过程从随机初始化参数开始,然后应用BP算法调整整个网络的参数,用随机梯度下降算法最小化代价函数。然而,这个过程可能导致过拟合,计算成本也很高。所以,我们采用两步训练的策略来解决这个问题。一开始,由于没有可用的DNN,我们使用限制玻尔兹曼机(RBM)仅使用一个图像对{I1,I2}从头开始训练我们的DNN,即初始学习。经过训练的DNN不仅可以配准I1和I2,还可以学习遥感图像的某些共同属性。因此,它可以通过迁移学习作为其他图像的预训练网络。下面给出这个两步策略的细节。

        预训练:之前的研究(Erhan等,2010)表明,预训练能够防止过拟合并具有更好的泛化性能,因为它将数据的先验信息带入参数初始化。所以我们用无监督的预训练,即限制玻尔兹曼机(RBM)来初始化所提出的DNN参数。RBM是基于能量函数的概率图模型,其学习输入数据的分布特征。它由可见层(输入层)和隐藏层(特征提取层)组成。 如果可见层单元表示为v[0,1],隐藏单位为h[0,1],联合概率分布和能量函数可表示为(左),激活函数更新为(右)

        

        在预训练DNN时,更换L-2层隐含层为L-2层RBM。第一个RBM的可见单元是图像块对,并且当前RBM的隐藏单元作为下一RBM的可见单元。由于RBM是无监督学习,因此仅使用没有匹配标签的图像块对。通过使用对比发散算法最小化每个RBM的误差来计算关于数据先验信息的参数(Hinton,2002)。之后,RBM的参数用于初始化DNN。然后,使用4.2节中获得的图像块对及其匹配标签来调整整个网络的参数。

4.4 迁移学习

        应用迁移学习和微调来缩短训练时间,提高训练网络适应新图像的可行性。迁移学习是将源网络作为目标网络的初始状态,然后使用目标数据微调目标网络的过程。它已经证明了目标网络的通用性能得到了改善,并且大大降低了培训成本(Yosinski等,2014)。我们将现有的DNN作为初始网络,然后使用新图像中的图片块对和相应的匹配标签来微调网络。将新图像中的图像块对和匹配标签作为训练样本,以0.01和100次迭代的小学习率训练初始网络。微调旨在使现有训练的DNN更适合于新图像。

4.5 匹配和配准

        DNN预测匹配标签,如果标签为1,我们将匹配的图像块对的中心点作为图像配准的初始关键点。由于遥感成像机制和小的图像块尺寸,我们的DNN可能在I1和I2之间找到多个相似的图像块。这种一对多匹配混淆了变换矩阵的计算。然后,我们应用局部约束和全局约束来移除这些错误匹配点。 局部约束:归一化互相关(NCC)基于像素强度计算两个块的相似性,只选择NCC最大的匹配图像块对。全局约束利用RANSAC算法。

        至此,找到两个图像的匹配点对,利用最小二乘法求出变换矩阵即可。

五.结果

        略

2018-11-14 10:20:05 qq_23589775 阅读数 535
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4388 人正在学习 去看看 黄晓军

前述

根据语义特征对遥感图像场景进行分类是一项具有挑战性的任务。因为遥感图像场景的类内变化较大,而类间变化有时却较小。不同的物体会以不同的尺度和方向出现在同一类场景中,而同样的物体也可能出现在不同的场景里。

理论上,深度学习能够通过提取遥感图像的高层次特征,表征出遥感场景间的细微差别。然而,目前遥感领域并不具备足够的带标签的遥感图像用于训练深度学习中网络模型中巨量的结构参数。当采用现有遥感数据集训练深度网络模型时会出现严重的过拟合。将在 Image Net 上训练得到的深度网络模型迁移至遥感图像场景分类也成为深度学习理论应用于遥感领域的重要发展方向。经 Image Net 数据集预训练的模型能够成功迁移至遥感场景分类任务的原因在于,遥感图像和日常可见光图像的基本视觉模块(例如:边、角)是相同的。

迁移学习(Transfer Learning)的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。目前大多数机器学习算法均是假设训练数据以及测试数据的特征分布相同。然而这在现实世界中却时常不可行。例如我们我们要对一个任务进行分类,但是此任务中数据不充足(在迁移学习中也被称为目标域),然而却又需要大量的相关的训练数据(在迁移学习中也被称为源域),但是此训练数据与所需进行的分类任务中的测试数据特征分布不同(例如语音情感识别中,一种语言的语音数据充足,然而所需进行分类任务的情感数据却极度缺乏),在这种情况下如果可以采用合适的迁移学习方法则可以大大提高样本不充足任务的分类识别结果。也即是大家通常所说的将知识迁移到新环境中的能力,这通常被称为迁移学习。当两者的相似度并不大的时候,会出现负迁移的情况,这个时候就不适合做迁移。

预训练模型

简单来说,预训练模型(pre-trained model)是前人为了解决类似问题所创造出来的模型。你在解决问题的时候,不用从零开始训练一个新模型,可以从在类似问题中训练过的模型入手。比如说,如果你想做一辆自动驾驶汽车,可以花数年时间从零开始构建一个性能优良的图像识别算法,也可以从Google在ImageNet数据集上训练得到的inception model(一个预训练模型)起步,来识别图像。一个预训练模型可能对于你的应用中并不是100%的准确对口,但是它可以为你节省大量功夫。

通过使用之前在大数据集上经过训练的预训练模型,我们可以直接使用相应的结构和权重,将它们应用到我们正在面对的问题上。这被称作是“迁移学习”,即将预训练的模型“迁移”到我们正在应对的特定问题中。在选择预训练模型的时候你需要非常仔细,如果你的问题与预训练模型训练情景下有很大的出入,那么模型所得到的预测结果将会非常不准确。
预训练模型已经训练得很好,我们就不会在短时间内去修改过多的权重,在迁移学习中用到它的时候,往往只是进行微调(fine tune)。在修改模型的过程中,我们通过会采用比一般训练模型更低的学习速率
如何使用预训练模型:

场景一:数据集小,数据相似度高(与pre-trained model的训练数据相比而言)
在这种情况下,因为数据与预训练模型的训练数据相似度很高,因此我们不需要重新训练模型。我们只需要将输出层改制成符合问题情境下的结构就好。我们使用预处理模型作为模式提取器。比如说我们使用在ImageNet上训练的模型来辨认一组新照片中的小猫小狗。在这里,需要被辨认的图片与ImageNet库中的图片类似,但是我们的输出结果中只需要两项——猫或者狗。在这个例子中,我们需要做的就是把dense layer和最终softmax layer的输出从1000个类别改为2个类别。

场景二:数据集小,数据相似度不高
在这种情况下,我们可以冻结预训练模型中的前k个层中的权重,然后重新训练后面的n-k个层,当然最后一层也需要根据相应的输出格式来进行修改。因为数据的相似度不高,重新训练的过程就变得非常关键。而新数据集大小的不足,则是通过冻结预训练模型的前k层进行弥补。

场景三:数据集大,数据相似度不高
在这种情况下,因为我们有一个很大的数据集,所以神经网络的训练过程将会比较有效率。然而,因为实际数据与预训练模型的训练数据之间存在很大差异,采用预训练模型将不会是一种高效的方式。因此最好的方法还是将预处理模型中的权重全都初始化后在新数据集的基础上重头开始训练。

场景四:数据集大,数据相似度高
这就是最理想的情况,采用预训练模型会变得非常高效。最好的运用方式是保持模型原有的结构和初始权重不变,随后在新数据集的基础上重新训练。

微调模型的方法 :
如何使用与训练模型,是由数据集大小和新旧数据集(预训练的数据集和我们要解决的数据集)之间数据的相似度来决定的。
特征提取
我们可以将预训练模型当做特征提取装置来使用。具体的做法是,将输出层去掉,然后将剩下的整个网络当做一个固定的特征提取机,从而应用到新的数据集中。

采用预训练模型的结构
我们还可以采用预训练模型的结构,但先将所有的权重随机化,然后依据自己的数据集进行训练。

训练特定层,冻结其他层
另一种使用预训练模型的方法是对它进行部分的训练。具体的做法是,将模型起始的一些层的权重保持不变,重新训练后面的层,得到新的权重。在这个过程中,我们可以多次进行尝试,从而能够依据结果找到frozen layers和retrain layers之间的最佳搭配。

作者:flopf
来源:CSDN
原文:https://blog.csdn.net/flopf1016821/article/details/79393205
版权声明:本文为博主原创文章,转载请附上博文链接!

没有更多推荐了,返回首页