精华内容
下载资源
问答
  • 本文是论文《多时相遥感影像变化检测方法综述》的阅读笔记。由于文章是中文的,强烈建议阅读原文,本文也尽可能用文章中的原话来描述问题。 一、变化检测简述 变化检测根据对同一物体或现象在不同时间的观测来确定...

    本文是论文《多时相遥感影像变化检测方法综述》的阅读笔记。由于文章是中文的,强烈建议阅读原文,本文也尽可能用文章中的原话来描述问题。

    一、变化检测简述

    变化检测根据对同一物体或现象在不同时间的观测来确定其不同的处理过程。遥感影像变化检测的研究目的是找出感兴趣的变化信息,滤除作为干扰因素的不相干的变化信息。

    现有绝大多数变化检测应用中,常用的方法仍然是目视解译和人工手动勾画,需要耗费大量人力及时间,处理效率低下。变化检测的方法和理论模型有很多,如代数法、分类法、面向对象法、时间序列分析法和可视化法等。现有的检测方法没有哪一种是适合所有场景的。变化检测没有通用的流程,但主要覆盖数据预处理、变化检测方法、阈值分割、精度评定等方面。

    二、变化检测的分类和发展历程

    按照不同的分类标准,变化检测的分类如下图所示。在监督变化检测中先验信息可以来源于训练好的模型、GIS矢量数据等。

    下图是变化检测方法发展的时间脉络图。初始发展期(20世纪80年代)主要以像元级统计方法为主;第一次高潮(20世纪90年代)主要是机器学习带来了生机;第二次高潮(2000 - 2009年)对象级变化检测引起了各种关注。伴随着高空间分辨率遥感影像的商业化,面向对象影像分析技术被引入高分辨率遥感影像分析中,变化检测的基本单元由像素逐渐过渡到对象;第三次浪潮(2010年以后)大数据和人工智能使变化检测进入新的热潮。

    三、变化检测的预处理

    几何配准误差是变化检测最主要的误差来源之一,因此许多变化检测方法,特别是像素级变化检测方法,都要求参与变化检测的多时相影像已完成高精度的配准;但对于不少特征级的变化检测方法,如面向对象法,由于对提取出的特性或目标进行比较时可采用顾及配准误差的缓冲区分析法,从而避免了过于苛刻的高精确配准要求。

    辐射校正是预处理的另一个重要环节。不同时期的光学遥感影像,如拍摄季节与日期不同、太阳高度角不同、成像角度不同、气象条件不同等,都会造成影像辐射值不同,显著地影响变化检测结果的精度,所以通常在变化检测之前需要进行辐射校正。常用的辐射校正方法包括绝对辐射校正和相对辐射校正两种类型。绝对辐射校正需要大量的成像及其他参数,因此相对辐射校正是一种更经常采用的方法。相对辐射校正方法将一幅影像作为参考影像,调整另一幅影像的辐射特性,使之与参考影像一致。但并非所有的变化检测方法都需要辐射校正,比如分类后变化检测方法是没必要进行辐射校正的。

    四、目前主流的变化检测方法

    1. 传统方法

    传统变化检测方法结果的精度对差异图的依赖很大,但生成差异图的过程会损失很多信息,导致检测结果精度不稳定。

    2. 基于深度学习的方法

    深度学习网络端对端的结构,使得我们能够直接从多时相遥感影像中获得变化检测结果。

    3. 基于面向对象影像分析的方法

    区别于像素级方法,对象级变化检测最重要的一个环节就是影像分割。影像对象较之单个像素包含了地物更多的整体信息,基于对象的影像分析方法更接近于人眼识别图像过程。根据变化检测策略的不同,对象级变化检测方法大致可以分为直接对象变化检测、同步分割后对象变化检测、分类后变化检测几个类型。分类后变化检测方法是比较经典的方法,对不同时相影像分别进行独立面向对象影像分类,然后再进行对象所属类别、几何形状及空间上下文信息等对比分析,获取变化区域及变化轨迹。

    4. 场景变化分析方法

    场景变化分析就是在语义层次分析多时相对应场景的语义类别是否发生变化以及发生了何种变化。

    5. 三维变化检测方法

    二维变化检测仅能检测平面上的变化,对高度上的变化则无能为力。三维变化检测方法的确定是三维数据获取的高成本及高难度,以及由于三维变化检测增加了新的数据维度,因此还将面临三维数据本身的不确定性问题。根据三维变化检测中三维信息使用的不同,三维变化检测方法大致可以分为几何信息直接比较的方法和几何信息与光谱信息相结合的方法。

    6. 时间序列变化检测方法

    时间序列变化检测方法主要针对长时间序列遥感影像的时间趋势分析。

    7. 混合方法

    混合方法是指综合运用上述方法中的两种或两种以上方法进行变化检测处理,包括两方面内容:一是在检测的不同阶段和步骤中使用不同的检测方法进行处理,即基于过程的混合方法;二是分别使用不同的变化检测方法对各自的结果进行综合分析,即基于结果的混合方法。

    五、精度评价

    根据变化检测的精度评估层次,可将变化检测的误差矩阵分为简单变化检测误差矩阵和分类变化检测误差
    矩阵。误差矩阵和Kappa系数评价方法是最成熟、最常用的变化检测精度评估方法。目前变化检测的精度评估主要是基于像素级的,误差矩阵是最常用、最成熟的精度评估方法。

    六、自己的理解

    说一点自己的理解。比如给定两张一年以前的卫星图像和一张一年后的卫星图像,一年前图像中的有些东西可能在一年后消失了,如被河水淹没的岛屿;也可能在一年后出现了新的东西,如新的建筑物。变化检测的目的就是找出这些发生了变化(消失或出现)的地方,并标注出来。标注图可以是一个二值图,1表示发生了变化,0表示没发生变化。

    最简单的方式就是两图做差,然后取绝对值。但是这样这样有个问题,比如都是草地,在不同时间拍摄得到的像素值可能是不同的,所以两张图做差后可能只是非常接近于0。而我们要得到的是一个二值图,一个简单的方法是设置一个阈值,小于该阈值的,就认为没发生变化,即在两张图中是相同的东西。还有一个方法就是先对两张图像中的物品进行分类,比如分成草地、河流、建筑物等等,然后将得到的分类图做差。

    展开全文
  • 一、SAR影像变化检测方法        单极化 SAR 影像变化检测的基本流程范式,即经典的三步流程范式:        1. 预处理 2. 生成差异图 3. ...

    论文名称:合成孔径雷达影像变化检测研究进展

    论文地址:https://web.xidian.edu.cn/mggong/files/20151108_104143.pdf


    一、SAR影像变化检测方法

           单极化 SAR 影像变化检测的基本流程范式,即经典的三步流程范式:
           1. 预处理   2. 生成差异图   3. 分析差异图

    1. 预处理
           目的:让两幅影像在空域谱域具有一致可比性。
           做法:在空域上,两幅影像首先要进行配准处理,目前比较流行的方式是通过尺度不变特征或者互信息特征来对两幅影像进行尺度级别或者灰度级别的配准。[1]
                      在谱域上,需要将因照射条件等原因产生的误差进行辐射校正,这一点可以通过对全图进行目标区域的划分来实现。[2]

    2. 生成差异图
           差异图的生成实际上是找到一个能表征两幅SAR影像之间距离的矩阵,这个矩阵经过可视化处理后就是差异图。
           目的:初步区分两幅 SAR 影像中未变化类变化类
           做法:通过某种差异运算构造一幅和两者尺寸一样的差异图。
                    (以下方法根据时间顺序排列,从早期使用到当前使用)

           (1)采用差值算子运算,即直接将两幅SAR影像相减。(缺点:差值法无法有效抑制相干斑噪声 (乘性随机噪声)

           (2)采用比值算子运算。(优点:比值法可有效抑制相干斑噪声 (乘性随机噪声);缺点:没有考虑影像的局部、边缘、类条件分布等先验信息)[3]

           (3.1)采用对数比(Log-ratio, LR)算子运算,在比值差异图的基础上多了一步对数的运算。(优点:将SAR 影像中的相干斑噪声(乘性随机噪声) 转换为加性噪声,并且经过对数转换后差异影像得到了非线性收缩,增强了变化类和非变化类的对比度。对数运算本身的性质能够减小比值运算所带来的较大差异,所以可以进一步降低未变化类背景部分的野点影响,在变化区域比未变化区域小的情况下比较有效。缺点:因为对数运算收缩性较强,所以边缘区域的像素值容易被模糊化)[4]

           (3.2)采用均值比(Mean-ratio,MR)算子运算,相比的对象不再是对应的孤立像素点,而是像素点所在的邻域的均值。(优点:利用了像素的邻域信息,对于单独出现的野点有一定程度的抑制效果;缺点:缺乏伸缩变换,如果噪声不是以点状的形式出现而是以成片的形式出现,则不易有效抑制其影响)[5]

           (4)组合差异图法(Combined Difference Image, CDI),该方法对差值差异图LR差异图进行参数加权获得新的差异图。CDI 法将差值差异图和LR差异图分别进行均值滤波中值滤波,初步去除噪声干扰和野点,然后利用人工加权的参数获得最终的融合差异图。(优点:简单易行,且适合于并行处理,速度较快;缺点:含有人工参数,需要多次测试才能得出最优的参数值,不易根据影像本身的性质进行自动选择。)[11]

           (5.1)基于邻域的比值差异图算法(Neighborhood-based Ratio,NR),NR算子是对比值差异图MR差异图的一个加权平均。这个权值可以表征中心像素所在的位置是处于匀质区域还是异质区域,低值对应匀质区域,高值对应异质区域。(优点:充分结合了像素点的灰度信息和空间信息,加权参数完全由影像自身的性质确定,提高了差异图构造的鲁棒性。)[12]

           (5.2)小波融合(Wavelet Fusion, WF)法,首先对已生成的LRMR差异图分别进行 小波变换,再分别抽取MR差异图的低频段和 LR差异图的高频段,也就是抽取了MR差异图的 整体信息和LR差异图的 细节信息。然后对 LL、LH、HL 和 HH 按照基于邻域的融合规则进行 融合,生成一幅新的小波变换图。最后进行 小波逆变换,得到了WF融合差异图。(优点:使LR和MR两种差异图的优点结合在一起。)[13]

           (5.3)结合SAR影像纹理强度特征来构造差异图(Intensity and Texture, IT),将输入的两幅 SAR 影像进行稀疏和低秩系数的分解,分别得到了对应的强度和纹理信息,对这两种信息分别构建差异图,然后进行融合。(优点:既提取出了 SAR影像中主要变化的区域, 又能防止斑点噪声对差异图性能产生影响,尤其是在性能保持这一性能上具有较强的鲁棒性。)[14]

    3. 分析差异图
           差异图生成以后,需要对其进行分析,最终生成一幅黑白二值图。常用的分析方法有四种:阈值分析聚类分析图切分析水平集分析

           (1)阈值法
                    阈值法通过某种阈值选择方法找出一个最优阈值以后,将差异图以阈值像素值为界划分为两类。(优点:运算速度快,方法简明;缺点:精确度不够高)
                    无监督最优阈值选择方法有两类:KI法和EM法
                           相同点KI法EM法首先都需要通过建立模型对未变类和变化类的类条件分布进行直方图拟合,最后通过 Bayes 最小错误率准则来使得两类分布的后验概率相等来择出最优阈值。
                           不同点KI法通过建立性能指标函数,并求出函数最小值来寻找对应的最优阈值;EM法则是通过迭代不断最大化期望值来求得最优阈值。

                           KI法(Kilter & Illingworth):
                               (以下方法根据时间顺序排列,从早期使用到当前使用)
                               1)KI法 [6]
                               2)广义KI法(Generalized KI, GKI)(优点:GKI 所构建的性能指标函数包含了模型的整个类条件分布表达式,比起 KI 的指标函数利用了更多的模型信息。)[15]
                               3)直方图优化方法,在运用 GKI 之前先对直方图进行优化处理。(优点:有效地解决直方图为单峰时 GKI 处理所遇到的困难问题。)[16]

                           EM法(Expectation Maximization 期望最大化):
                               (以下方法根据时间顺序排列,从早期使用到当前使用)
                               1)基于Gaussian模型EM法 [7]
                               2)基于性能更加优良的GG模型EM法,(优点:对影像及其变化区域分布状况的可选范围广;缺点:由于要对两类同时进行EM算法估计,需要比较繁杂 的初始化及迭代计算。)[17]
                               3)局部拟合兼半期望最大化 (Locally Fitting and Semi-EM, LF&SEM) 方法,该方法适用于变化区域的比例相对较小的普适情况。该方法首先锁定了最优阈值必然出现的一个子区间,使得未变化类模型的拟合区间限定在这个子区间内而不像其余的方法去拟合全部灰度级。然后根据未变化类拟合的信息,对于被混叠的变化类采取了基于 GG 模型的EM迭代。(优点:充分考虑到了未变化类和变化类的分布特点,将两类的拟合方式加以区分,采取了局部拟合和搜索策略,缩减了拟合区间和搜索长度。由于计算复杂的 EM 法只用在变化类估计上,所以其迭代计算量只有上述EM计算量的一半;同时由于未变化类的精确估计在先,因此也不需要进行复杂的初始化,进一步降低了算法时间消耗。)[18]

                    类条件分布模型有:

                           * Gaussian 模型                               #常用
                           * 广义 Gaussian 模型(GG)          #常用
                           * 对数正态模型(Log-normal, LN) #常用
                           * Nakagami-ratio 模型
                           * Weibull-ratio 模型

           (2)聚类法
                    通过对差异图运用聚类算法得到未变类和变化类的两个聚类中心,然后通过近邻法分割出两类。(优点:不需要建立模型,比阈值法灵活)
                    聚类方法有硬聚类模糊聚类两种,硬聚类以K均值聚类(K-means, KM)法为代表,模糊聚类以模糊C均值聚类(Fuzzy C-means, FCM) 法为代表。
                           (以下方法根据时间顺序排列,从早期使用到当前使用)
                           1)K均值聚类(K-means, KM)法:利用类间距离最大和类内距离最小这两点,通过迭代找到合适的聚类中心。(缺点:由于硬划分造成一些误差)[8]
                           2)模糊C均值聚类(Fuzzy C-means, FCM) 法:在KM法的基础上加入了模糊集合知识,生成有隶属度矩阵。(优点:相比KM法能够更为有效地保留更多数据原有的特性,从而使分类精度得以提高)[9]
                           共同缺点KM法FCM法没有考虑数据在空域上的诸多其他信息,因此仍旧对影像噪声比较敏感。

                           利用邻域信息FCM改进的聚类方法:
                           (以下方法根据时间顺序排列,从早期使用到当前使用)
                           1)快速广义模糊C均值(Fast Generalized Fuzzy C-means, FGFCM)聚类法:在目标函数上加入了 3×3 邻域的空间约束。(优点:提高了模糊聚类在影像分割方面的精度;缺点:依赖人工参数)[19]
                           2)局部邻域信息模糊C均值 (Fuzzy Local Information C-means, FLICM)聚类方法:该方法给出了一种体现 3×3 邻域内诸像素点和中心像素点的距离关系模糊因子,同时提出了基于此模糊因子的全新目标函数和更新公式。(优点:没有人工参数)[20]
                           3)改良局部邻域信息模糊C均值(Reformulated Fuzzy Local Information C-means, RFLICM)聚类方法:对模糊因子进行了进一步的研究和改良。经过改良后的模糊因子将邻域大小拓展到 5×5,从而体现了两个 3×3 邻域之间的距离关系。(优点:没有人工参数而且更加细致权衡所利用的邻域信息,降低了 FLICM 中孤立野点对模糊因子的干扰,对隶属度的计算更加精确。)[21]

                           利用马尔可夫随机场(Markov Random Field, MRF)对FCM改进的聚类方法:
                           (以下方法根据时间顺序排列,从早期使用到当前使用)
                           1)将 MRF 中带有能量函数的 Gibbs 表达式加入了 FCM 算法当中,通过计算点式先验概率来获得隶属度,并在目标函数中加以加权约束。(缺点:加权参数是人工指定的。并且能量函数的表 达式较为粗略,不能很好地应对像 SAR 影像变化检测差异图分析这样相对复杂的任务。)[22]
                           2)基于MRF的新型 FCM(MRFFCM)算法:该算法根据能量函数指数形式的特点,提出了一种带附加项能量函数。附加项充分利用了 3×3 邻域内诸像素点和中心像素点的类别关系和隶属度关系,根据邻域像素的同属类别个数来对隶属度进行修正。最后利用最小二乘法来对附加项的参数在不同情况下加以分别拟合,使得整个能量函数能够完全自动地进行计算。此外,该方法待优化的目标函数回归到FCM最原始形式,这是由于精细的能量函数已经可以对隶属度加以约束,而不必要过多去修饰目标函数,即没有了人工加权参数的干预。[23]

           (3)图切法
                    图切法是另一种影像的二分类方法,本质上是将未变化类和变化类的标签分配给诸像素点。该方法根据差异图自身的性质构造合适的能量函数,并且使用图切法最小化这个能量函数,使得能量最小时,每一个像素点都属于一个最合适的分类。
                    图切法的能量函数包含两部分:数据函数平滑函数数据函数值用于衡量影像中某像素点与其当前所持标签的拟合程度大小,平滑函数则相当于在某一邻域中两个像素点之间不连续性的惩罚函数
                    图切法应用到 SAR 影像变化检测的方式主要有两种:

                    第一种方式是将图切算法用于其余分析方法的预处理阶段,代表工作有:
                           将图切算法应用在FCM聚类算法之前:该方法将原始影像进行一定的变形之后,通过邻接图之间的距离关系,初步获得了每一个像素点的初步分类信息。(优点:提高了 FCM 分类的精确度)[24]
                           基于图切的GG模型分析法(GG Segmentation Based on Graph Cut, GC_GG) [25]

                    第二种方式是将图切算法用于能量最小化的优化分析过程(由于 SAR 影像变化检测是对差异图的每个像素进行分类,因此被往往构造为能量最小化问题),代表工作有:
                           基于MRF的图切算法:该方法对像素点及其邻域像素点作以合理的假设:如果一个像素标记为变化类或未变化类,那么它 周围的像素极有可能是同样的标记。根据这一假设, 该方法利用 line-process 方法保留边缘信息,结合EM对数累积方法(Method of Logcumulants, MoLC)对影像的概率分布模型参数进行精确估计,并选取MRF作为工具,通过图切算法不断优化MRF的能量函数,最终对差异图中的未变类和变化类进行了有效区分。(优点:该方法适用范围广,对超高分辨的 SAR 影像变化检测也十分有效。)[26]
                           局部搜索兼核函数诱导图切方法 (Local Fit-search and Kernel-induced Graph Cut, LFS&KGC) :该方法利用了灰度直方图性质,对其有效拟合的子区间进行模型的建立,提高了图切初始化的精度。同时由于 SAR 影像数据的复杂性,生成的差异图往往不适合直接作为数据函数,因此该方法在图切算法中引入核函数,通过核函数转换将影像映射到高维空间,增加影像的可分性,能够有效地对不同等效视数的 SAR 影像进行变化检测任务的执行。[27]

           (4)水平集法
                    差异图的分析问题可表示为求解某一能量泛函的最小值问题。水平集方法通过不断最优化能量函数来更新水平集函数,最终水平集函数值为正和为负的部分分别标记为差异图分析对应的变化类与未变化类。(利用曲线演化将二维闭合曲线的演化问题转化为三维空间中水平集函数曲面演化的隐含方式来求解,即构造一个三维的水平集函数,然后求使其值为零的解构成的曲线集合,从而获得影像分割的结果。)
                    (以下方法根据时间顺序排列,从早期使用到当前使用)
                    1)Chan和Vese根据 Mumford-Shah 泛函模型变分水平集方法提出了著名的CV模型:该模型是基于区域的分析方法,具有很好的内部边缘和弱边缘的检测能力。通过不断优化能量函数的过程中不断修正水平集函数, 轮廓曲线演化方程被转化成求解数值化偏微分方程 的问题。SAR影像变化检测的差异图由于受到噪声的影响,容易在区域内或边界上产生野点现象,因此可以在其能量函数中加上若干邻域或者边缘信息,适应于拓扑结构变化的处理。该模型中的能量函数由三项组成,前两项代表了被分成的两类的类内距离,为基本的函数优化项;最后一项是一个平滑先验项,其物理意义代表了曲线的长度。平滑先验项以加权的方式附加,具有初步平滑噪点的功效。通过梯度下降法可以得到 CV模型中水平集函数的更新演化偏微分方程。(优点:在曲线的分裂或者合并等过程中,不但具有较高的计算精度,而且算法稳定性强,可以有效降低这些野点在分析过程中的干扰。CV模型用于灰度均匀影像分割获得了很好的效果,能较好地保留影像的细节。)[10]
                    2.1)加入局部信息的区域规模拟合模型(Region-scalable Fitting, RSF):为了使CV模型能较好地分割灰度不均匀的影像提出了该模型,在充分分析了基于区域的主动轮廓模型 后,把 Gaussian 核函数加入到能量函数的积分式中, 平滑了影像;同时对二分类的拟合函数的表达式也在 水平集函数的演变中加以推导,最终得到了用卷积形式表达的拟合函数更新表达式。(优点:该方法中核函数加入 了数据项,所以零水平集部分(轮廓)在演化过程中 由被抽取出的局部信息所引导,从而非匀质区域也能得以恰当地处理。)[28]
                    2.2)在CV能量函数之后附加正则项:CV模型需要进行重新初始化,以使得水平集函数在演化过程中保持符号距离函数的特性,从而导致该过程的复杂度大大提升。为了解决CV模型需要重新初始化的问题提出了正则项概念。正则项附加在 CV 能量函数之后,可以认为是水平集函数的一个泛函,它的出现避免了复杂的初始化问题,使得每一次水平集函数演化后都能够尽可能保持符号距离函数特性。该方法提出了一种基于水平集函数梯度的简单正则项,该正则项在梯度较大的区域取值较大,而在梯度较小的地方取值较小,在水平集函数演化过程中起到了一定的拉伸作用。(优点:正则项的出现打破了CV模型需要重新初 始化的桎梏,对水平集分析算法的简化起着重要的意 义;缺点:该正则项在水平集函数梯度小于 1 时和实际期望的物理意义相差较大)[29]
                    3.1)正则项改进 CV 模型(Improved CV, ICV):ICV 模型对上述正则项利用余弦 函数进行了改进,且对水平集函数的取值进行了讨论处理(优点:弥补了2.2中正则项在水平集函数值小于 1 时和实际物理意义差距甚远的问题。)[30]
                    3.2)基于多级分辨率水平集的差异图分析方法(Multiresolution Level-set, MLS):因为水平集方法对初始轮廓较为敏感,易陷入局部最优,所以提出了该方法。首先通过下采样的方式将差异图蜕变为一系列低分辨率的影像;其次,将较低分辨率的影像的水平集分割结果轮廓作为下一级较高分比例影像的初始轮廓;最后,二值化最后一级分辨率影像(初始生成的差异图)的分割结果,即获得变化检测的最终结果。(优点:这种方法在下采样的过程中,将噪声以一定的概率加以弱化或剔除,使得水平集第一次分割时能够尽可能少地受噪声影响,并且带有很强的先验信息。在后续分析中,这些先验信息逐步引导水平集函数收敛至全局最优,在复杂的环境下提高了分类精度。)[31]

    二、SAR影像数据集

           SAR影像数据集一般包含有两幅已配准的不同时刻的 SAR 影像和一幅人工标定的标准参考二值图。

           1. Bern 数据集
    在这里插入图片描述
           该数据集分辨率为20m,其中数据集的原始影像是分别在1999年4月和1999年5月通过欧洲遥感2号星载SAR传感器在瑞士Bern地区获得的。在此时间段内,泛滥的 Aare 河洪水将 Thun 和 Bern 两座城市的部分地区淹没,Bern 机场则是彻底被洪水淹没。前一时刻的 SAR 影像显示了洪水尚未发生时的情形,后一时刻的 SAR 影像中可以清楚地看出当时泛滥的洪水。两幅影像的尺寸均为301×301。 而变化参考图通过结合当地真实的陆地信息和专家知识得到。

           2. Ottawa 数据集
    在这里插入图片描述
           该数据集是由 RADARSAT-SAR 卫星分别在 1997 年 5 月和 1997 年 8 月拍摄的,分辨率为12m, 影像大小为 290×350。该数据集反映的是加拿大 Ottawa 地区受雨季影响其地表变化情况。此时间段正值 1997 年的雨季过后,河道明显变窄。从图 2 可以清楚地看出河水退去后露出的大范围陆地区域。变化参考图通过结合当地真实的陆地信息和专家知识得到。

    三、实验方法

    1. 差异图生成算法的评估指标
           绘制每一幅差异图对应的受试者工作特征曲线 (Receiver OperatingCharacteristic, ROC) :曲线上的数据点代表了遍历灰度级的诸阈值分割下的一系列虚警率(False Alarm Rate)检测率(Detection Rate) 的对应点,为了观察细节,一般需要绘制出点(0,1)附近的局部放大图曲线下的面积大小(Area under the Curve, AUC) 用来作为性能的评判,AUC越大代表差异图性能越良好。[32]

    2. 差异图分析算法的评估指标

    • 错检数 (False Positive, FP):本属于未变化类却被检测为变化类的像素点数,越小表明差异图分析结果越好。
    • 漏检数(False Negative, FN):本属于变化类却被检测为未变化类的像素点数,越小表明差异图分析结果越好。
    • 总错误数(Overall Errors, OE): FPFN 两者的加和,越小表明差异图分析结果越好。
    • Kappa系数(Kappa Coefficient, KC):差异图分析生成的二值图与真实参考图的接近程度, 越接近于 1 表明差异图分析结果越接近于真实参考图。

           参考文献 [33] 给出了每项指标的具体计算方法, 并且指出,由于KC中包含了更多的分类信息,所以 KC 是一个比 OE 更能反映分类优劣的指标。

    四、研究趋势

    1. 差异图生成和差异图分析协同进行研究。
    2. 在 SAR 影像变化检测中有效加入非局部信息。[34]
    3. 对变化的地物识别进行深入地研究,尤其是识别水域的变化。
           上述检测方法均为基于像素的方法,事实上,变化检测越来越注重所检测的变化类型。因此,有必要对变化的地物识别进行深入地研究,尤其是识别水域的变化。
    4. 非同源传感器影像之间的变化检测算法研究。
    5. 利用深度神经网络方法对变化检测任务进行研究。
           文献 [35] 对上述研究趋势进行了初步的研究,利用深度神经网络提取地物特征,构建了特征映射函数,建立两幅影像之间的联系,通过训练映射函数,计算映射误差,得到差异图。(优点:深度神经网络方法并未强调 SAR 影像本身的特性,因此具有相当的普适性,给这类较为复杂的变化检测任务指明了方向。)
    6. 探究和GPU并行运算相关的SAR影像变化检测技术。
           以前的变化检测任务是在以CPU为核心处理器的计算机上运行的,而近年来又有了以GPU并行处理器为核心的实验机器。在参考文献 [36] 中利用GPU对变化检测进行初步尝试,加速效果可以达到原先的 63~145 倍。因此,有必要进一步探究和GPU并行运算相关的SAR影像变化检测技术。

    参考文献:

    [1] Gong Maoguo, Zhao Shengmeng, Jiao Licheng, et al. A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information [J]. IEEE Trans on Geoscience and Remote Sensing, 2014, 52(7): 4328-4338

    [2] Liu S C, Fu C W, Chang S. Statistical change detection with moments under time-varying illumination [J]. IEEE Trans on Image Processing, 1998, 7(9): 1258-1268

    [3] Rignot E J M, Zyl J J V. Change detection techniques for ERS-1 SAR data [J]. IEEE Trans on Geoscience and Remote Sensing, 1993, 31(4): 896-906

    [4] Bovolo F, Bruzzone L. A detail-preserving scale-driven approach to change detection in multitemporal SAR images [J]. IEEE Trans on Geoscience and Remote Sensing, 2005, 43(12): 2963-2972

    [5] Inglada J, Mercier G. A new statistical similarity measure for change detection in multitemporal SAR images and its extension to multiscale change analysis [J]. IEEE Trans on Geoscience and Remote Sensing, 2007, 45(5): 1432-1445

    [6] Bazi Y, Bruzzone L, Melgani F. An unsupervised approach based on the generalized Gaussian model to automatic change detection in multitemporal SAR images [J]. IEEE Trans on Geoscience and Remote Sensing, 2005, 43(4): 874-887

    [7] Bruzzone L, Prieto D F. Automatic analysis of the difference image for unsupervised change detection [J]. IEEE Trans on Geoscience and Remote Sensing, 2000, 38(3): 1171-1182

    [8] Celik T. Unsupervised change detection of satellite images using local gradual descent [J]. IEEE Trans on Geoscience and Remote Sensing, 2012, 50(5): 1919-1929

    [9] Ghosh A, Mishra N S, Ghosh S. Fuzzy clustering algorithms for unsupervised change detection in remote sensing images [J]. Information Science, 2011, 181(4): 699-715

    [10] Chan T F, Vese L A. Active contours without edges [J]. IEEE Transactions on Image Process, 2001, 10(2): 266-277

    [11] Zheng Yaoguo, Zhang Xiangrong, Hou Biao, et al. Using combined difference image and k-means clustering for SAR image change detection [J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(3): 691-695

    [12] Gong Maoguo, Cao Yu, Wu Qiaodi. A neighborhood-based ratio approach for change detection in SAR images [J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(2): 307-311

    [13] Ma Jingjing, Gong Maoguo, Zhou Zhiqiang. Wavelet fusion on ration images for change detection in SAR images [J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(6): 1122-1126

    [14] Gong Maoguo, Li Yu, Jiao Licheng, et al. SAR change detection based on intensity and texture changes [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93: 123-135

    [15] Moser G, Serpico S B. Generalized minimum-error thresholding for unsupervised change detection from SAR amplitude imagery [J]. IEEE Trans on Geoscience and Remote Sensing, 2006, 44(10): 2972-2982

    [16] Hu Hongtao, Ban Yifang. Unsupervised change detection in multitemporal SAR images over large urban areas [J]. IEEE Journal of Selected Topics in Applied Earth Observation Remote Sensing, 2014, 7(8): 3248-3261

    [17] Bazi Y, Bruzzone L, Melgani F. Image thresholding based on the EM algorithm and the generalized Gaussian distribution [J]. Pattern
    Recognition, 2007, 40(2): 619-634

    [18] Su Linzhi, Gong Maoguo, Sun Bo, et al. Unsupervised change detection in SAR images based on locally fitting model and semi-EM algorithm [J]. International Journal of Remote Sensing, 2014, 35(2): 621-650

    [19] Cai Weiling, Chen Songcan, Zhang Daoqiang. Fast and robust fuzzy C-means clustering algorithms incorporating local information for image segmentation [J]. Pattern Recognition, 2007, 40(3): 825-838

    [20] Krinidis S, Chatzis V. A robust fuzzy local information c-means clustering algorithm [J]. IEEE Trans Image Process, 2010, 19(5): 1328-1337

    [21] Gong Maoguo, Zhou Zhiqiang, Ma Jingjing. Change detection in synthetic aperture radar images based on image fusion and fuzzy clustering [J]. IEEE Trans on Image Processing, 2012, 21(4): 2141-2151

    [22] Chatzis S P, Varvarigou T A. A fuzzy clustering approach toward hidden Markov random field models for enhanced spatially constrained image segmentation [J]. IEEE Trans on Fuzzy System, 2008, 16(5): 1351–1361

    [23] Gong Maoguo, Su Linzhi, Jia Meng, et al. Fuzzy clustering with a modified MRF energy function for change detection in synthetic aperture radar images [J]. IEEE Trans on Fuzzy System, 2014, 22(1): 98-109

    [24] Gou Shuiping, Yu Tiantian. Graph based SAR images change detection [C]// IEEE Int’l Geoscience and Remote Sensing Symposium. NY: IEEE, 2012: 2152-2155

    [25] Zhang Xiaohua, Chen Jiawei, Meng Hongyun. A novel SAR image change detection based on graph-cut and generalized Gaussian model [J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(1): 14-18

    [26] Moser G, Serpico S B. Unsupervised change detection with high-resolution SAR images by edge-preserving Markov random fields and graph-cuts [C]// IEEE Int’l Geoscience and Remote Sensing Symposium. NY: IEEE, 2012: 1984-1987

    [27] Gong Maoguo, Jia Meng, Su Linzhi. Detecting changes of the Yellow River estuary via SAR images based on local fit-search model and kernel-induced graph cuts [J]. International Journal of Remote Sensing, 2014(11-12), 35: 4009-4030

    [28] Li Chunming, Kao C Y, Gore J C, et al. Minimization of region-scalable fitting energy for image segmentation [J]. IEEE Trans on Image Processing, 2008, 17(10): 1940-1949

    [29] Li Chunming, Xu Chenyang, Gui Changfeng, et al. Level set evolution without re-initialization: a new variational formulation[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. NY: IEEE, 2005. 430-436

    [30] Li Chunming, Xu Chenyang, Gui Changfeng, et al. Distance regularized level set evolution and its application to image segmentation [J]. IEEE Trans on Image Processing, 2010, 19(12): 3243-3254

    [31] Bazi Y, Melgani F, Al-Sharari H D. Unsupervised change detection in multispectral remotely sensed imagery with level set methods [J]. IEEE Trans on Geoscience and Remote Sensing, 2010, 48(8): 3178-3187

    [32] Inglada J, Mercier G. A new statistical similarity measure for change detection in multitemporal SAR images and its extension to multiscale change analysis [J]. IEEE Trans on Geoscience and Remote Sensing, 2007, 45(5): 1432-1445

    [33] Su Linzhi, Gong Maoguo, Sun Bo, et al. Unsupervised change detection in SAR images based on locally fitting model and semi-EM algorithm [J]. International Journal of Remote Sensing, 2014, 35(2): 621-650

    [34] Su Xin, Deledalle C, Tupin F, et al. Two-step uultitemporal nonlocal means for synthetic aperture radar images [J]. IEEE Trans on Geoscience and Remote Sensing, 2014, 52(10): 6181-6196

    [35] Zhao Jiaojiao, Gong Maoguo, Liu Jia, et al. Deep learning to classify difference image for image change detection [C]// 2014 International Joint Conference on Neural Networks (IJCNN) . NY: IEEE, 2014: 411-417

    [36] Zhu Huming, Cao Yu, Zhou Zhiqiang, et al. Parallel Unsupervised Synthetic Aperture Radar Image Change Detection on a Graphics Processing Unit [J]. International Journal of High Performance Computing Applications, 2013, 27(2): 109-122.

    展开全文
  • 报告将总结已有的基于深度学习的遥感影像语义分割方法和变化检测方法,并介绍一种基于对象的影像语义分割方法和一种基于深度监督融合网络的高分影像变化检测方法;对于在研究方向上长时间难以取得突破的同学,报告人...

    报告将总结已有的基于深度学习的遥感影像语义分割方法和变化检测方法,并介绍一种基于对象的影像语义分割方法和一种基于深度监督融合网络的高分影像变化检测方法;对于在研究方向上长时间难以取得突破的同学,报告人将分享自己从GIS向RS的科研转向之路。

    人物名片:张晨晓,武汉大学测绘遥感信息工程国家重点实验室2016级博士,师从乐鹏教授,以第一作者发表SCI论文三篇,获得博士国家奖学金、中海达奖学金等。

    本次报告,张晨晓博士从下面几个方面介绍了自己在遥感语义分割与变化检测方向的研究进展和从GIS转到RS的心路历程:

    1、深度学习的概念
    2、深度学习应用于遥感语义分割
    3、深度学习应用了遥感变化检测
    4、科研心得

    在这里插入图片描述
    1、深度学习概念

    深度学习的主要内容包括两个部分:深度学习的基本网络结构和网络训练。感知机结构的主要原理是一个简单的神经元接受多个网络的输入,将其进行叠加并加上偏置之后通过非线性化的函数最终输出结果。通过多个神经元的叠加组合就可以实现对复杂问题非线性化的模拟求解。网络训练首先通过构建具有多个神经元的网络结构利用正向传播计算模拟的输出值和真实目标之间的差值,即为loss值。再通过反向传播和梯度下降对每一个神经元进行更新,通过多次往复的正向和反向传播来实现网络权值的更新最终得到一个较好的问题求解模型。

    在这里插入图片描述
    2、深度学习应用于遥感影像语义分割

    目前基于深度学习的遥感影像语义分割方法大致可以分为三类:滑动窗口-patch分类法和对象分割-对象分类方法以及全卷积网络-端到端分类方法

    基于滑动窗口的分类法首先采用一个固定大小的滑动窗口从左至右从上至下遍历整个遥感影像,将每个窗口的内容放到卷积神经网络里面进行分类。分类的结果就是每一个窗口中心像素点的类别,由于采用的窗口是固定的,所以会存在感受域大小不确定问题。

    在这里插入图片描述
    基于对象分割思想的分类方法首先对整幅遥感图像进行对象分割,取分割后的影像放到卷积神经网络进行对象分类。这种分类方法也会存在Bounding box里面拥有的领域信息较少的问题。

    在这里插入图片描述
    最后一种基于全卷积网络的影像分类方法目前在计算机视觉领域较为流行,精度也是最高的,在这里介绍一种基于对象的多级空间上下文监督分类法。首先需要对对象取一定的空间上下文信息用来监督指导对象的分类,然后在对象分类的基础上再采取像素级别的空间上下文优化语义分割的结果。

    在这里插入图片描述
    3、深度学习应用于遥感影像变化检测

    根据分析方法采用的粒度不同将基于深度学习的监督变化检测方法分为三类。第一类是基于像素比较的方法,在两幅影像的某个像素点的位置分别取像素点光谱值,然后将不同时相的光谱值特征进行组合放入卷积神经网络中来评价像素对的相似度。如果该像素对的相似度很高,则认为这个点没有发生改变。第二种是基于图斑比较的方法,取同一位置上的两个相同大小的图斑放入群体实体网络中比较图斑对的相似度。如果图斑对的相似度很高则认为这个地方没有发生改变。最后一种是影像比较的方法,直接将两幅影像放入卷积神经网络中输出一个最终变化的结果,该方法是目前精度最高、效果最好的变化检测方法。

    以上三种都是基于像素比较的监督变化检测,非监督变化检测主要分为两种,基于像素比较的检测和基于对象比较的检测。基于像素比较的思想是把两幅影像通过神经网络提取出像素级的特征,然后将特征通过阈值分割、聚类分析或者变化向量分析的方法输出变化检测结果。基于对象的检测方法首先对影像进行分割,取分割后的多个对象放入神经网络中得到对象级的特征,再利用阈值分割或者变化下降分析的方法得到最终的结果。

    早期融合方法将不同时相的影像数据做组合叠加输入到网络中,图像的差异性检测从网络的第一层开始进行,这将导致属于不同时相的特征可能会相互影响,原始影像的高维特征难以保持。

    在这里插入图片描述
    后期融合方法使用孪生网络结构分别接收不同时相的影像数据,将原始影像的特征提取功能和差异识别功能通过多层网络链接在同一个网络中,这会极大地增加梯度消失的隐患,进而影响原始影像特征提取的结果,导致网络前端提取出的原始影响特征的代表性较差。

    在这里插入图片描述
    针对存在的问题,我们提出了基于深度监督的影像融合网络框架。如图8所示,a是T1分支,网络分支接收T1作为输入,b是T2分支,将其作为服务。经过多层的高维特征提取之后两个分支网络汇聚于c网即为差异判别网络来生成最终的变化检测结果图。通过在通道维度对异质特征进行融合、在空间维度对异质特征进行优化、从更短距离的深度监督层直接获取更新梯度等方法增强网络性能、提高检测结果精度

    在这里插入图片描述
    4、GIS向RS的科研转向

    1)时间宝贵,及时止损,一条路走到黑真就是走到黑。

    2)深度学习应用于遥感语义分割。

    3)制定策略寻找合适的研究切入点。

    5、科研心得

    最忌不求甚解。
    
    写文章不过分追求华丽,朴实无华更见真章。
    
    培养自信心,坚定研究目标。
    
    学习了解不同领域的最新进展,发现新的机会。
    

    在这里插入图片描述

    展开全文
  • 本文是对一些利用了深度学习方法进行SAR影像变化检测的论文的解读,下列是所解读的论文的名称、论文地址和代码地址: 1. Automatic Change Detection in Synthetic Aperture Radar Images Based on PCANet, IEEE ...

    本文是对一些利用了深度学习方法进行SAR影像变化检测的论文的解读,下列是所解读的论文的名称、论文地址和代码地址:

    1. Automatic Change Detection in Synthetic Aperture Radar Images Based on PCANet, IEEE GRSL 2016.

    2. Sea Ice Change Detection in SAR Images Based on Convolutional-Wavelet Neural Networks, IEEE GRSL 2019.

    3. Transferred Deep Learning for Sea Ice Change Detection From Synthetic-Aperture Radar Images, IEEE GRSL 2019.

    4. Change Detection From Synthetic Aperture Radar Images Based on Channel Weighting Based Deep Cascade Network, IEEE JSTARS 2019.

    5. SAR Image Change Detection Method via a Pyramid Pooling Convolutional Neural Network, IEEE IGARSS 2020.

    6. SAR Image Change Detection Based on Multiscale Capsule Network, IEEE GRSL 2020.

    7. Bipartite Differential Neural Network for Unsupervised Image Change Detection, IEEE T-NNLS 2020.

    8. Group Self-Paced Learning With a Time-Varying Regularizer for Unsupervised Change Detection, IEEE TGRS 2020.

    9. Unsupervised Scale-Driven Change Detection With Deep Spatial–Spectral Features for VHR Images, IEEE TGRS 2020.


    一、基于 PCANet 的SAR图像自动变化检测(GaborPCANet)

            本文提出了一种基于PCANet的SAR图像变化检测方法。如图1所示:
    在这里插入图片描述
    1. 预分类:首先利用 log-ratio 算子生成差分图像,然后利用Gabor小波和模糊c均值(FCM)将差分图像中每一个像素分类为变化、不变和不确定三个类别。

    2. 将预分类好的变化和不变的两类像素作为训练样本训练PCANet模型。

    3. 利用训练好的PCANet模型将第一步中不确定的像素分类,分为变化和不变两类。

    4. 将第一步和第三步分类出来的像素结合,形成最终的变化图。


    解决的问题及使用的方法:

            1.SAR图像存在斑点噪声:

            (1) 使用log-ratio算子生成差分图像,能减少斑点噪声的影响。(考虑到SAR图像中斑点的乘法性质,log-ratio算子可以减少斑点噪声的影响。 因此,可以在某种程度上抑制斑点噪声)

            (2) 采用PCANet作为变化检测的分类模型,使用PCA滤波器作为卷积核,因为PCANet能够从多时SAR图像中学习非线性关系,所以对散斑噪声有较强的鲁棒性,并能生成噪声较少的变化图。

            2.预分类时能分出来确定是变化类和不变类的像素较少,不确定的像素较多,所以难以给PCANet提供足够的训练样本:

            (1) 设计了一种预分类方案,使用Gabor小波和FCM为PCANet获得一些高精度的带标记样本。


    主要贡献:

            1.采用PCANet作为变化检测的分类模型,使用PCA滤波器作为卷积核。

            2.设计了一种预分类方案,使用Gabor小波和FCM为PCANet获得一些高精度的带标记样本。


    相关技术细节:

    Ⅰ.使用Gabor小波和FCM进行预分类

            1.通过将差分图像与一组Gabor内核进行卷积来获取差分图像的Gabor小波表示。

    Ⅱ.使用PCANet进行分类

            1.如图2所示,在图像I1和图像I2上对应的变化和不变的像素点(坐标为(m,n))周围提取一个大小为 k x k 的 patch,将两个图的patch串联起来,得到大小为2k x k的patch块,这样的一个patch块作为我们的一个样本,我们随机选择N个样本作为我们的训练样本。
    在这里插入图片描述
            2.PCANet的结构如图3所示,它由三个步骤组成:前两个阶段是PCA滤波器卷积,最后一个阶段是散列和直方图生成。
    在这里插入图片描述

    二、基于小波卷积的海冰SAR图像变化检测(CWNN)

            本文提出了一种基于小波卷积神经网络的海冰SAR图像变化检测方法。如图1所示:
    在这里插入图片描述
    1. 预分类:首先利用log-ratio 算子生成差分图像,然后利用模糊c均值(FCM)将差分图像中每一个像素分类为变化、不变和不确定三个类别。

    2. patch样本生成:生成每个像素周围的patch样本,并且还生成一些虚拟patch样本,将预分类好的变化和不变的两类patch作为训练样本。

    3. 通过CWNN分类:利用第2步的训练样本训练CWNN模型,再用训练好的CWNN模型将原始patch全部分类,形成最终变化图。


    解决的问题及使用的方法:(主要贡献)

            1. SAR图像存在斑点噪声:

            (1)提出基于小波卷积的变化检测方法:将双树复小波变换(DT-CWT)引入到卷积神经网络中,对变化的像素和不变的像素进行分类,从而有效降低了斑点噪声的影响。

            2. 训练样本有限:

            (1)采用虚拟样本生成方案来创建用于CWNN训练的样本,从而减轻了训练样本有限的问题。


    相关技术细节:

    Ⅰ. Patch样本的生成

            1. 在原始SAR图像I1和图像I2上对应的变化和不变的像素点周围提取一个大小为 w x w 的 patch,将两个图的patch串联起来,得到大小为2w x w的patch块,这样的一个patch块作为我们的一个样本,总共选择N个训练样本(N为所有变化和不变的patch的总和)。

            2. 由两个相同类别的样本以适当的比率产生一个虚拟样本,所以虚拟样本的类别和这两个样本保持一致,公式如下:Pk = αPi + (1-α)Pj + β,其中Pi和Pj是来自同一个类的两个训练样本,α是区间[0,1]上均匀分布的随机值,β表示随机高斯噪声,β的均值设为0,方差设为0.001。最后将真实样本和虚拟样本一起用作训练样本。

    Ⅱ. 小波卷积神经网络分类

            1. CWNN框架图
    在这里插入图片描述
            CWNN的结构如图2所示。两个卷积层表示为C2和C4,一个小波池化层表示为W3和W5。因此,网络可以表示为{I1、C2、W3、C4、W5、F6、O7}。i1是输入层,所有输入图像块都被重采样为28 × 14的大小。C2是一个具有6个卷积核的卷积层,其大小为5×3。该层生成六个大小为24 × 12的feature map。W3是一个小波池化层,在该层中,所有的输入特征图都用一级DT-CWT分解,该小波池化层产生6个大小为12×6的特征图。C4是具有12个卷积核的卷积层,其大小为5×3,该层生成12个8×4大小的feature map。w5是一个小波池化层,它产生12个大小为4×2的特征图。F6是具有96个单元的全连接层。o7是带有两个单元的输出层,这两个单位分别代表变化和未变化的类。最后,我们将CWNN分类结果和预分类结果结合在一起,形成最终的变化图。

            2. 小波池化层

            池化层之前的层可以通过双树复小波变换(DT-CWT)分解成八个组成部分。八个分量包括两个低频子带L1和L2以及六个方向的高频子带,正负15°,正负45°,和正负 75°(由LH1、LH2、HL1、HL2、HH1和HH2表示)。选择两个低频子带的平均值作为池化层的输出。


    三、基于迁移学习的海冰SAR图像变化检测(MLFN)

            本文提出了一种迁移多级融合网络(MLFN),用于海冰SAR图像变化检测。如图1所示:
    在这里插入图片描述
    1. 首先使用一个大型数据集(LCCD)来训练MLFN:从LCCD数据集中随机抽取大量patch对,再将这些patch对送到MLFN中用作训练样本。

            (1)用级联Dense Block来优化卷积层: 使用三个Dense Block进行特征提取,分别提取低级,中级和高级特征。(引入了多层特征融合以利用低,中和高级特征表示之间的互补信息, 因此,MLFN可以实现更具区分性的特征提取)

    2. 训练后,将训练好的权重迁移到海冰SAR图像变化检测任务当中。

            (1)预分类:首先利用log-ratio 算子生成差分图像,然后利用Gabor小波和模糊c均值(FCM)将差分图像中每一个像素分类为变化、不变和不确定三个类别。

            (2)微调:将预分类好的变化和不变的两类像素用于微调MLFN模型,优化MLFN的网络参数。(同样采用抽取patch的方式)

            (3)利用微调好的MLFN模型将(1)中不确定的像素分类,分为变化和不变两类。

            (4)将(1)和(3)中分类出来的像素结合,形成最终的变化图。


    解决的问题及使用的方法:

            1.海冰数据集较少,在变化检测任务中具有局限性:

            (1)使用一个大型数据集(LCCD)来训练MLFN,然后将丰富的知识迁移到海冰分析中。(因为CNN较低层的特征对分类任务的针对性较小)


    相关技术细节:

    Ⅰ.多层融合网络
    在这里插入图片描述
            DenseNets是残差网络的极端情况,其中每个卷积层都通过多个快捷连接进行连接,加强了特征传播并鼓励了特征重用,在一定程度上减少参数数量。图2是Dense Block的内部框架结构,MLFN使用了三个Dense Block进行特征提取,第一个Dense Block可以提取图像的次要细节,例如线条或点;第二个Dense Block可以提取中级特征,这些特征对应于低级特征的组合输出;最后,第三个Dense Block可以捕获输入图像的结构化信息和语义上下文。

            如图2所示,Dense Block具有四层。 第l层具有l个输入,由所有先前卷积层的特征图组成。 它自己的特征图将传递到所有后续层,这在Dense Block中引入了4×(4 +1)/ 2 = 10个连接。

            在图1中,已经介绍了MLFN所采用的特征融合策略是利用三个Dense Block, 这三个模块的输出分别表示为FL,FM和FH。 这三个块的输出合并结果为:F=pooling(h(FL) + h(FM) +h(FH)),其中F表示融合特征,池化是全局平均函数,h是尺寸匹配函数,在特征融合之前执行尺寸匹配。,使用大小为1×1的64个内核对FL,FM和FH进行卷积。 通过这种卷积,三个Dense Block的特征图的数量全部变为64。因此,可以通过逐元素求和来实现特征融合,融合后送到全局池化层,然后由一个全连接层进行处理。 最后,将融合特征转换为一个高维向量用作softmax图层的输入,以计算变化或不变的可能性。 可以将变化或不变的可能性分别表示为pc和pu。 如果pc> pu,则输入图像的patch对属于变化类别,否则属于未变化类别。

    Ⅱ.微调

            有两种可能的方法可以在预训练的MLFN中执行微调。第一种方法是微调所有图层。第二个是保持一些低层固定,然后微调高层。在第一种方法中,从预训练的MLFN中移除softmax层。在另一种方法中,冻结低层以保持已经学习的特征,并针对输入的多时间SAR图像调整高层。在这篇文章中通过实验表明微调所有层的特征对于海冰图像变化检测结果有所提高。


    四、基于通道加权的深度级联网络的SAR图像变化检测(DCNet)

            本文提出了一种用于SAR图像变化检测的深度级联网络(DCNet)。
    在这里插入图片描述
    1. 预分类:首先利用log-ratio 算子生成差分图像,然后利用分层聚类算法对差分图像进行分类,在分层聚类算法中,FCM算法用于将差分图像中每一个像素分类为变化、不变和不确定三个类别。

    2. 将预分类好的变化和不变的两类像素作为训练样本训练DCNet模型。

            (1)引入残差学习优化卷积层

            (2)基于通道加权的残差块可以利用特征通道的关系

            (3)将不同层的输出融合以形成最终特征集

    3. 利用训练好的DCNet模型将第一步中不确定的像素分类,分为变化和不变两类。

    4. 将第一步和第三步分类出来的像素结合,形成最终的变化图。


    解决的问题及使用的方法:(主要贡献)

            1. 随着网络深度的增加,卷积神经网络经常会遇到一些负面影响,例如过拟合和梯度爆炸。

            (1)引入残差学习来解决梯度爆炸问题。

            (2)引入特征融合机制来组合不同层的输出,以进一步缓解梯度爆炸问题。

            2. SAR图像变化检测中使用的现有深层网络往往会产生许多冗余特征(每个卷积运算都会生成一组特征图),这些不必要的特征会影响网络的性能。

            (1)设计了一个基于通道加权的模块,平均池和最大池用于汇总通道信息,强调有意义的通道,抑制不必要的通道。因此,可以降低特征图的相似度,减少冗余特征,进而提高DCNet的分类性能。


    相关技术细节:

    I. 预分类和样本选择

            1.如图2所示,从两幅原始SAR图像的潜在变化区域中提取以所选样本为中心的patch块(两幅图像所选取的位置为同一位置),每个patch的大小为r×r,将两个patch组合在一起以形成具有两个通道的新图像Rk,Rk的大小为r×r×2。
    在这里插入图片描述
    Ⅱ. 深度级联网络(DCNet)

            DCNet包含两个重要组件:基于通道加权的残差块和特征融合模块。

            1. 基于通道加权的残差块:由于残差图像的大多数值很可能为零或趋于较小,因此残差网络更易于训练。 一个典型的残差块如图3所示,它通过块内的快捷路径直接连接输入和输出。DCNet中设计了一个基于信道加权的残差块,如图4所示。DCNet通过具有不同参数的基于级联信道加权的残差块来实现更深的网络深度,级联的残差块可以完全提取SAR图像的特征信息。如图1所示,在DCNet中有三组基于信道加权的残差块。它们分别用于提取低,中和高级特征。 第一组残差块可以提取图像的次要细节,例如线或点;第二组残差块可以提取与低级特征的组合输出相对应的中级特征;第三组残差块可以捕获输入数据的结构化信息和语义上下文。 每个组由四个具有相同参数的基于信道加权的残差块组成。
    在这里插入图片描述
    在这里插入图片描述
            2.特征融合: 该文章引入了特征融合策略来研究三组基于通道权重的残差块中的互补信息。特征融合策略的工作方式与残差学习类似,具体来说,残差学习结合了相同尺度的特征,而特征融合策略则结合了不同尺度的特征。因此,特征融合策略可以看作是残差学习的扩展版本,从而可以进一步缓解爆炸梯度问题。

            不同级别的级联残差块可以捕获不同尺度的信息,包括粗糙或精细尺度,因此级联残差块的不同级别特征的融合对于变化检测非常重要。 将三个基于信道加权的残差块的特征分别表示为F1,F2和F3,F1包含16个特征图,F2包含32个特征图,F3包含64个特征图。 为了在特征融合时保持尺寸一致,使用64个 kernels 对F1,F2和F3进行卷积,每个 kernel 的大小为1×1,经过这种卷积,三组输出的总数全部变为64。之后,可以通过逐像素求和来实现融合过程,公式如下:F = g1(F1)+g2(F2)+g3(F3), 其中F表示融合特征,g1,g2和g3是尺寸匹配操作。


    六、基于多尺度胶囊网络的SAR图像变化检测(Ms-CapsNet)

            本文提出了一种用于SAR图像变化检测的多尺度胶囊网络(Ms-CapsNet)。如图1所示:
    在这里插入图片描述
    1. 首先利用 log-ratio 算子生成差分图像。

    2. 然后从差分图像中随机选择训练样本用于Ms-CapsNet训练。

            (1)Ms-CapsNet 由自适应融合卷积模块(AFC)和胶囊模块组成

            (2)AFC模块用于将像素强度转换为高语义特征

            (3)胶囊模块用于激活高语义特征

    3. 最后利用训练好的Ms-CapsNet对差分图像中的像素进行分类,得到最终的变化图。


    解决的问题及使用的方法:(主要贡献)

            1. 不同位置特征的相关性不能有效建模:

            所提出的 Ms-CapsNet 具有从不同位置提取鲁棒特征的能力,它提供了一组实例化参数来从不同的位置捕获特征,因此可对不同位置特征的相关性建模,从而也解决了训练样本不够的问题。

            2. SAR影像中固有的散斑噪声:

            设计了一个自适应融合卷积模块(AFC),可以有效地将像素强度转化为局部特征的活动。AFC模块通过注意力策略提取较高的语义特征并强调有意义的特征,因此局部特征的活动变得更具噪声鲁棒性。


    相关技术细节:

    Ⅰ. AFC模块
    在这里插入图片描述
            如图所示,利用AFC模块对输入进行编码。

            首先,一组卷积(Conv1-1、Conv1-2和Conv1-3,其核大小为3×3)采用了不同的空洞率(分别设置为1、2、3),以捕获多尺度特征,得到输入特征 Fin (w0w0c0)。

            然后将输入特征 Fin 输入到通道注意力模块(CA)中,利用全局平均池化(GAP)在空间域挤压 Fin 得到 Favg (11c0),然后利用一维卷积来找 Favg 中的通道关系,然后通过Sigmoid函数得到一个基于通道加权的向量 M,最后,将 FinM 结合起来得到基于通道加权的特征 Fout(Fout=M⊗Fin,其中⊗表示通道乘法)。来自Conv1-1、Conv1-2和Conv1-3的基于通道加权的特征分别表示为F1F2F3

            最后对多尺度特征进行特征融合,通过逐像素求和法将特征融合为:F = D1(F1) + D2(F2) + D3(F3),其中F表示融合特征,D1、D2和D3是利用1×1卷积实现的维数匹配函数。


    Ⅱ. 胶囊模块

            胶囊模块是由初级胶囊层、Conv胶囊层和类胶囊层组成的神经网络,如图1所示。

    1. Primary Capsule Layer

            该层通过核大小为k×k的类卷积操作从多维实体中提取低层次特征。与传统卷积不同,它将获得多个特征图而不是一个。初级胶囊层首先从AFC模块接收大小为 wwc 的特征图。 然后采用类卷积运算和压缩函数得到输出胶囊 vp。压缩函数表示为:
                                             在这里插入图片描述
            其中s是总输入,v是胶囊的矢量输出。 在初级胶囊层中,输出胶囊vp的大小为w1映射,n×w1×n×d,其中n是特征×d=c的数目,d是8。 [w1×w1]网格是共享的权重。 换句话说,我们在总初级胶囊中获得[w1×w1×n]8D载体。 在我们的实现中,考虑了多尺度信息。 两个初级胶囊层分别采用核大小k=3和k=5。 因此,可以得到多尺度特征表示。 来自两个尺度的特征向量分别用vp1和vp2表示。

    2. Conv-Capsule Layer

            该层采用局部连接和共享变换矩阵,在一定程度上减少了参数的。 卷积胶囊层采用动态路由策略更新耦合系数c。原囊层与conv-囊层之间的连接(变换矩阵)为W,变换矩阵W也每个网格中也共享。 因此,conv-胶囊层的输出vc可以表示为
                                      在这里插入图片描述
            其中c是耦合系数,u=W·vp.vp是初级胶囊层的输出。 对于动态路由,我们首先将协议b设置为0。 耦合系数c可以用c=softmax(b)计算)。 也就是说,我们更新b来计算最新的耦合系数c.此外,b的更新过程可以表示为b←bu·vc。

    3. Class Capsule Layer

            类胶囊层可视为完全连接层。动态路由机制仍用于耦合系数更新。 在这一层中,通过求和VO1∈VO2×VO2融合类胶囊层中的多尺度活动向量VO1⊕R2和VO2。 然后,计算向量范数来度量类的概率。 可以将ms-Caps Net的损失函数定义为
    在这里插入图片描述
            当标签k出现时,tk=1(k=0表示不变的类,k=1表示更改的类)。 λ=0.5用于约束初始类胶囊的活动向量的长度。 如果图像中有一个更改类对象,则更改类的类包应该输出一个长度至少为m=0.9的向量。 相反,如果没有改变类的对象,则从类胶囊中输出长度小于m−=0.1的向量。 然后,通过像素分类可以计算出最终的变化图。

    展开全文
  • 论文主要信息 标题:Deep learning for change detection in remote sensing images: comprehensive ...其次展示了对于变化检测方法分析的细节; 再次概述了已有的基于深度学习的遥感影像变化检测方法; 在
  • 视觉变化检测是一个高水平的推断任务,其目的是精确地辨别一张参考图像(reference image)和一张新的测试图像(test image)之间的变化。本文提出了一个基于深度学习的变化检测网络ChangeNet。 一、相关工作 给定...
  • PCL教程指南-Spatial change detection on unorganized point cloud data(点云变化检测) 官方原文档 基于八叉树结构对两组点云检查区别即变化检测。 代码注释解读,扩展内容 #include <pcl/point_cloud.h> #...
  • 论文名称:Unsupervised Change Detection in Satellite Images Using Principal Component Analysis and -Means Clustering, IEEE GRSL, ...基于PCA和K-Means的合成孔径雷达SAR影像变化检测(PCAKM)   &n
  • 文章针对异质SAR(合成孔径雷达)图像变化检测问题提出了一个基于条件生成对抗网络的模型,该模型包含一个翻译网络(生成器1)、一个评估网络(生成器2)和一个判别器,翻译网络用来将光学图像转换成SAR图像,评估...
  • 本文是论文《Weakly Supervised Silhouette-based Semantic Scene ...语义场景变化检测任务就是检测并标注每种场景变化的种类,一种方法是直接对比像素级语义分割的结果,另一种是直接对比物体检测的结果。该任务有两个
  • 遥感影像变化检测数据集

    千次阅读 热门讨论 2021-02-20 18:11:27
    文章目录遥感影像中变化检测数据集1. S2MTCP2. Hi-UCD3. SECOND4. CD_Data_GZ5. LEVIR-CD6. LEVIR-CD+7.SLADCD8. HRSCD9. Mts-WH10. WHU Building Change detection Dataset11. Synthetic images and read season-...
  • Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges 基于人工智能改变检测:最先进...虽然一些研究人员声称AI的变化检测方法优于传统的变化检测方法,但它没有立即明显如何以及在多
  • 文章解决的是建筑物变化检测问题。在该问题中,由于提取的特征不足够具有辨别性,因此导致识别出的区域不完整或者区域边界不规则。为了解决该问题,文章提出了一个双任务约束的孪生卷积神经网络(dual task ...
  • Deep learning for change detection in remote sensing images: comprehensive review and meta...具体而言,我们首先介绍了经常用于改变检测的深度学习方法的基础。其次,我们介绍了Meta分析的细节,进行了调查检测DL
  • 写在前面 本篇文章主要总结梳理了以下两篇综述的内容...在城市规划,环境监测,农业调查,灾害评估和地图修订中,变化检测技术具有广泛的应用。由气候变化引起的极端灾害的数量不断增加,例如干旱,洪水,飓风和热浪,
  • 基于遥感影像的变化检测数据集

    千次阅读 2021-03-05 17:00:31
    公开数据集中共包含超过8万个有变化的建筑实例,可用于变化检测深度学习方法的开发和验证。 SLADCD与LEVIR-CD+的关系:相比于LEVIR-CD+数据集关注城市建筑区域,SLADCD包含的更多农田、森林和荒漠地区;更为重要的是...
  • 文章针对遥感图像变化检测问题提出了一个基于孪生神经网络的时空注意力变化检测模型STANet,其中的自注意力模块可以计算任意两张拍摄于不同日期和位置的图像的注意力权重,并产生更具辨别性的特征。考虑到物体可能具
  • 工业检测 如今深度学习的发展如火如荼,各类神奇的技术如人脸识别、换脸技术啥的,似乎什么问题都只需要Deep Learning一下就可以解决了。但这都是属于民用级别的技术,而真正想要在实际业务中落地,更多的是要渗透到...
  • 随着深度学习的发展,基于深度学习的目标检测技术取得了巨大的进展,但小目标由于像素少,难以提取有效信息,造成小目标的检测面临着巨大的困难和挑战. 为了提高小目标的检测性能,研究人员从网络结构、训练策略、...
  • 我们知道,Object.defineProperty不能检测数组的操作,因此需要拦截数组的操作(push, unshift, splice等)并重写他们,使之可以对新操作的数据进行检测。 拦截数组方法的思路: 缓存数组的操作方法,直接缓存Array....
  • 一文梳理水下检测方法

    千次阅读 2021-04-23 00:31:10
    编辑丨AI约读社水下目标检测旨在对水下场景中的物体进行定位和识别。这项研究由于在海洋学、水下导航等领域的广泛应用而引起了持续的关注。但是,由于复杂的水下环境和光照条件,这仍然是一项艰巨的任...
  • 有好几种方法都能够达到目的,我将会分享一个大概是最容易的方法。这个方法就是用 GRUB 来关闭 IPv6。 新手注意! 如果你不习惯于用命令行和终端,请额外注意这些步骤。仔细的阅读这些操作说明。 第 1 步:打开 GRUB...
  • 文章提出的方法将多传感器融合的SLAM和快速密度3D重建结合了起来,用以对图像对进行粗略配准,然后再用深度学习方法进行像素级的变化检测。此外创建了一个新的城市变化检测数据集,该数据集比现有的数据集更大,且...
  • 传统目标检测方法研究(一)

    千次阅读 2021-10-24 12:42:22
    1 传统算法目标检测 区域选择 --> 特征提取 --> 特征分类 1.1 区域选择 python 实现 图像滑动窗口 区域选择: 区域选取:首先选取图像中可能出现物体的位置,由于物体位 置、大小都不固定,因此传统算法通常...
  • 工业界表面缺陷检测方法综述

    千次阅读 2020-12-19 08:00:00
    点击上方蓝色字体,关注我们产品的表面缺陷检测是近年来制造业中格外关注的一项技术问题。作为生产制造过程中必不可少的一步,表面缺陷检测广泛应用于各工业领域,包括3C、半导体及电子、汽车、化工...
  • 常用计算机检测病毒的方法

    千次阅读 2021-07-13 01:58:35
    常用的计算机病毒检测方法有以下几种:1、软件仿真扫描法:专门用来对付多态变形病毒。该病毒在每次传染时,都将自身以不同的随机数加密于每个感染的文件中,传统搜索法根本就无法找到它。软件仿真技术则是成功地...
  • 车道线检测方法的一些近期论文

    千次阅读 2021-04-14 00:49:59
    作者丨黄浴@知乎来源丨https://zhuanlan.zhihu.com/p/358716442编辑丨3D视觉工坊已发表:关于车道线检测方法的论文介绍(https://zhuanlan....
  • 文章提出了三个全卷积神经网络结构用来解决变化检测问题,其中2个网络是基于孪生神经网络的。文章第一次在孪生神经网络的基础上加入了跳跃连接。 一、方法和网络结构 EF是Early Fusion的缩写,Siam即Siamese的缩写。...
  • 两种端到端通用目标检测方法

    千次阅读 2021-01-30 11:55:25
    摘要:本文介绍两种端到端训练通用目标检测算法--DETR和DeFCN。 通用目标检测作为计算机视觉中一个基础的...根据目标检测任务的定义,这些方法需要对图像中出现的目标物体进行定位和分类,为了确保目标的召回率,结合

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 357,781
精华内容 143,112
关键字:

像元变化检测方法