精华内容
下载资源
问答
  • 2020-02-01 15:43:58

    遥感变化检测:利用多时相的遥感数据,采用多种图像处理和模式识别方法提取变化信息,并定量分析和确定地表变化的特征与过程。它涉及变化的类型、分布状况与变化量,即需要确定变化前、后的地面类型、界线、及变化趋势,进而分析这些动态变化的特点与原因。
    遥感变化检测的影响因素
    1.遥感系统因素的影响(时间、空间、光谱、辐射分辨率)
    不同遥感系统的时间、空间、光谱和辐射分辨率不同。在变化检测前,一方面需要对检测区域内的主要问题进行调查,充分认识被检测对象的空间分布特征、波谱反射率与辐射特征及时相变化特征;另一方面需要充分了解遥感数据本身的特征,并将两者联系起来,以选择合适的遥感数据源。这是变化检测能否成功的前提。
    2.环境因素的影响(大气、土壤湿度状况、物候特征)
    用于变化检测的遥感图像应尽量无云或没有很浓的水汽。若用于变化检测 的不同日期的遥感图像的大气状况存在明显的差异,且难以找到可替代的数据,则需要应用大气辐射传输模型进行处理,以消除图像上大气衰减的影响。
    土壤湿度条件对地物的反射特征有很大的影响。在一些变化检测中,不仅需要检测图像获取时的土壤湿度,还需要检测前几天或前几周的雨量记录,以确定土壤湿度变化对光谱特性的影响。如果研究区内仅某些地段的土壤湿度差异明显,则需要对这些地段进行土壤的分层分类处理。
    地球上的任何对象都存在时相变化,不管是自然生态系统还是人文现象,只是变化的的速度和过程有所不同。且不同时相的植物光谱特征会有所变化。因此,只有通过对地面对象的物候变化特征的理解,选择目标变化最大对应的时间段,才有可能选择合适时间的遥感数据,并从中获取丰富的变化信息。
    遥感变化检测方法
    1.光谱特征分析方法(多时相图像叠合、图像代数运算、多光谱变换、分类后比较)
    2.光谱向量分析方法
    3.时间序列分析方法
    4.基于GIS知识的变化检测
    NDVI时间序列分析:主要是利用长时间序列的遥感数据,建立研究区域内NDVI随时间的变化曲线,并通过比较各种变化检测指标的年际曲线或生长期曲线的差异获取覆盖变化信息;或采用拟合线性函数的斜率来反映植被覆盖的变化趋势;或采用频谱分析对NDVI时间序列曲线进行分解,从而检测出土地覆盖的变化,以及地表植被生态系统的物候变化,进而分析植被长时序变化与气候、环境变化的关系。
    在选择多时相遥感数据进行变化检测时需要考虑三个时间条件
    1.应尽可能选择每天同一时刻或者相近时刻的遥感图像,以消除因太阳高度角不同引起的图像反射特性的差异
    2.尽可能选择不同年份同一时刻期的遥感数据,以减少或消除季节性太阳高度角不同和植物物候差异的影响。
    3.选择目标变化最大的对应时间段,以获得更为丰富的变化信息,可通过对不同时间间隔数据的比较分析,确定研究目标的最小或最佳时间分辨率。
    ***以上内容参考《遥感应用分析原理与方法》 赵英时 第二版

    更多相关内容
  • 遥感变化检测综述 Change Detection Based on Artificial Intelligence:State-of-the-Art and Change 现存的变化检测综述主要专注于在多时态高光谱图像(HSIs)和高空间分辨率图像。并且大致可总结为以下几种传统...

    遥感变化检测综述

    Change Detection Based on Artificial Intelligence:State-of-the-Art and Change
    在这里插入图片描述现存的变化检测综述主要专注于在多时态高光谱图像(HSIs)和高空间分辨率图像。并且大致可总结为以下几种传统技术:
    1.Visual analysis
    变化图通过人工解译获得,基于专家知识可提供高度可靠的结果,但费时费力
    2.Algebra-based methods
    变化图通过在大量多时态数据上进行代数操作或转换获得,例如:图像差异化、图像回归、图像旋转和变化向量分析(CVA)
    3.Transformation
    数据缩减的方法,比如主成分分析、流苏帽Tasseled Cap(KT)、多变量变化检测(MAD)、Gramm-Schmidt(GS)和Chi-Square都用于抑制相关信息并突出多时态数据中的方差
    4.Classification-based methods
    通过比较多个分类图来识别变化,或者用一个训练好的分类器直接对多时段数据进行分类
    5.Advanced models
    先进模型,比如Li-Strahler reflectance模型,光谱混合模型和生物物理参数法都用于将多周期数据的光谱反射率值转换为基于物理的参数或分数进行变化分析,这样更直观,具有物理意义
    6.其他
    混合方法或者其他,比如基于知识,基于空间统计的和整合GIS和RS的方法

    根据检测单元的大小,这些方法可以分为基于像素级,基于特征级,基于目标级和三维目标级。

    在变化检测的传统方法和基于AI的方法中,第一步都是数据获取并且变化检测的目的是获得大量应用的变化检测图;在准备数据之后,传统的方法一般包括两个步骤,同质化处理和一个变化检测处理,然而基于AI的方法一般要求一个额外的训练集生成过程和一个对于变化检测的模型训练过程。

    基于AI的变化检测

    在这里插入图片描述

    1.同质化处理
    为什么要进行同质化处理?
    采集时光照和大气条件、季节、传感器姿态存在的差异
    几何校正辐射校正是两种常用的方法
    前者旨在几何对齐两个或多个给定数据段,这可以通过注册或联合注册实现。给定两个周期的数据,只有当它们重叠时,对应位置之间的比较才有意义。后者旨在消除传感器数字化过程中产生的辐射或反射率差异,以及大气中吸收和散射引起的大气衰减失真,这有助于减少变化检测中这些辐射误差引起的假警报。对于异构数据,可以设计一种特殊的AI模型结构进行特征空间转换,实现变化检测。
    2.训练集生成
    这一步就是数据增强操作
    3.模型训练
    4.模型保存

    变化检测的数据源

    在这篇论文里,用于变化检测的数据可分为光学遥感图像,SAR图像和街景图像,值得注意的是街景图像一般不用于遥感数据而是用作辅助数据。
    本文将街景图像作为一种广义的遥感数据来处理,并对其进行了评述,因为街景图像可以提供街道级的观测数据
    光学遥感图像,SAR图像分别由被动和主动传感器采集,覆盖不同的电磁光谱范围。其他数据源,如数字高程模型(DEM)、地理信息系统(GIS)数据和点云数据,可以提供有价值的补充属性。
    在这里插入图片描述

    基于AI的变化检测框架

    1.Single-stream Framework

    在这里插入图片描述
    Single-stream Framework里面有两种结构:
    1.direct classification structure 2.mappinpg transformation-based structure

    1.direct classification structure
    直接分类方法使用各种数据处理方法将两个或多个周期的数据融合为中间数据,然后使用单个基于AI的分类器执行特征学习,并实现融合数据的两个或多个分类。也就是说,如图5a所示,该结构将变更检测任务转换为分类任务,在一些文献中也称为双通道结构。它的两个关键研究问题是数据融合方法的选择和基于AI的分类器
    为了从多周期数据中获取融合数据,两种最常用的方法是使用变化分析方法直接级联。变化分析方法,如CVA、对数比率算子差分或变化度量,能够在多期数据中直接提供变化强度信息(即差异数据),这可以突出显示变化信息并促进变化检测。直接拼接方法可以保留多周期数据的所有信息,因此后续分类器提取变化信息。通常,一维输入数据直接连接,而二维数据通过通道连接。此外,原始数据和差异数据的融合是另一个很好的策略,它可以保留所有信息,同时突出差异信息

    2.mapping transformation-based structure
    基于映射转换的框架结构通常用于检测不同域或异构数据中的更改。其主要思想是使用AI方法学习特征映射转换,并使用它对一种数据执行特征转换,如图5b所示。转换后的特征对应于另一种数据的特征。简而言之,它将数据从一个要素空间转换到另一个要素空间。最后,通过对两类数据的相应特征进行决策分析,得到变化图。在Change detection based on deep feature representation and mapping transformation for multi-spatial-resolution remote sensing images 中,设计了一个映射神经网络(MNN)来学习多空间分辨率数据之间的映射函数,然后进行特征相似性分析来构建变化图。该方法还实现了SAR图像与光学图像之间的变化检测。在A new fuzzy measurement approach for automatic change detection using remotely sensed images中,作者使用ANN实现相对辐射归一化,然后检测相同辐射条件下两个周期数据的变化。此外,利用这种映射变换的思想,提出了几种改进的结构,用于检测异构数据或不同域数据中的变化.。

    2.Double-stream Framework

    在这里插入图片描述双流结构包含三种:(a)the Siamese structure (连体结构)(b) the transfer-learning-based structure (基于迁移学习的结构) ( c ) the post-classification structure(后分类结构)

    1.连体结构
    如图(a)所示,连体结构的两个子网络都包含特征提取器,完成特征提取后,通过变化分析(即决策者)结合后生成变化图。这样做的优点是它的两个子网络同时被直接训练以学习输入的两个周期数据的深层特征。
    根据子网络的权重是否共享,可将其分为纯连体结构和伪连体结构。主要区别在于前一个子网络通过共享权值来提取两个周期数据的共同特征。后一个子网络分别提取特征对应的输入数据,从而增加了可训练参数的数量和复杂性,但也增加了其灵活性。
    虽然这种结构使特征抽取器能够通过有监督的带标记样本的训练直接学习深层特征,但无监督训练更具挑战性。一种常见的解决方案是*以无监督的方式单独培训特征提取器。这些预先训练的特征提取器为进一步的变化检测提供原始数据(即特征图)的潜在表示。为了生成变化图,两个时段的输出特征图可以通过通道串联直接分类,或者可以使用特定距离度量生成差异图,然后用于进一步的变化分析。*为了保留多尺度的变化信息,可以将不同深度的特征地图连接起来进行变化检测,这很有效。

    2.基于迁移学习的结构
    迁移学习能够解决训练样本不足的问题。如图(b)所示我们将预训练好的AI模型用于特征提取,用于生成两个时间的特征图,这里两个时间的特征提取器,我们可以选择相同或者不同的。预训练模型能否正确提取输入数据的深层特征映射或潜在特征表示,决定了变化检测任务的性能。

    基于迁移学习的结构通常有两个训练阶段,即深度特征学习阶段微调阶段。在深度特征学习阶段,人工智能模型通常受到监督,在其他领域数据中使用足够的标记样本进行预训练。微调阶段是可选的,在此阶段,微调或额外分类器训练只需要少量标记样本。因此,经过训练的分类器可以直接得到变化图。在不进行微调的情况下,可以使用变化分析(如低秩分析、CVA、聚类和阈值)基于两个时期的特征图获得最终变化图。这意味着不需要更多的标记样本进行进一步培训。此外,基于迁移学习的思想,预训练的AI模型还可以用于生成训练样本或掩码,以实现无监督方案,这是一种非常实用的策略。

    3.后分类结构
    如图6c所示,后分类结构由两个分类器组成,通常可以将其转换为分类任务,并以联合或独立的方式进行培训。它为每个时期的数据提供了一个分类图,通过比较分类图可以得到具有变化方向的变化图。然而,这些方法的变化检测结果的准确性取决于分类器的性能。

    Multi-Model Integrated Structure (多模型集成结构)

    多模型集成框架是一种混合结构,类似于双流结构,但它包含更多类型的人工智能模型,并且可以分多个阶段进行训练。
    变化检测是一种时空分析,可以通过将基于AI的特征提取器作为光谱空间模块来获取空间-光谱特征,然后将基于AI的分类器作为时间模块来建模时间相关性。
    此外,这种混合结构巧妙地用于无监督变化检测和对象级别变化检测。这使得整个更改检测过程更加复杂,同时提高了性能。

    变化检测框架中的无监督方案

    基于人工智能的变化检测框架通常包括特征提取器或分类器,这需要有监督和无监督的训练。由于获取大量标记样本进行监督训练通常耗时且劳动密集,因此人们已经做出了许多努力,以无监督或半监督的方式实现基于人工智能的变化检测。最常用的无监督方案是使用变化分析方法和样本选择策略来选择绝对变化或/和不变作为AI模型的训练样本。其流程图如图8a所示。
    在这里插入图片描述最常用的无监督方案是使用变化分析方法和样本选择策略来选择绝对变化或/和不变作为AI模型的训练样本。其流程图如图8a所示。

    可以看出,在该方案中有两个变化检测阶段。第一阶段,预分类通常很简单,但值得研究,其中大多数是无监督方法,可通过差异分析和聚类实现,如K-均值、模糊c-均值(FCM)、空间FCM或层次FCM。在某些作品中,这一阶段是通过阈值分析、显著性分析或精心设计的规则来实现的。在获得高置信度的变化或/和不变样本后,AI模型可以在监督的方式下进行训练,以便在第二阶段进行变化检测。此外,另一种常用的无监督方案基于潜在变化图,如图8b所示。除了通过转移学习获得的预训练模型外,它还可以由无监督AI模型(例如AEs)生成,然后使用聚类算法生成最终的变化图。

    尽管无监督的变化检测不需要标记的训练样本,但由于缺乏先验知识,有时不适合涉及语义信息的变化检测。弱监督和半监督方案使用不准确或不充分的标记样本作为先验知识来解决这个问题,这可以通过标签聚合、迭代学习、深度生成模型、样本生成策略或新的成本函数来实现

    Mainstream Networks in AI

    1.Autoencoder

    Alt

    2.Deep Belief Network

    在这里插入图片描述

    3.Convolutional Neural Network

    在这里插入图片描述

    4.Recurrent Neural Network

    在这里插入图片描述

    5.Purse Couple Neural Network

    在这里插入图片描述

    6.Generative Adversarial Networks

    在这里插入图片描述

    7.Other Artificial Neural Networks and AI Methods

    人工智能中有许多类型的人工神经网络,上面描述了用于变化检测的主流网络结构。此外,其他网络,如Hopfield网络、反向传播网络、多层感知器(MLP)、极限学习机和自组织映射(SOM)网络,不需要像深度神经网络那样需要大量的训练样本来学习高层抽象特征,但由于其网络结构浅、样本量要求低、训练过程简单,因此也被广泛应用于变化检测任务中,并能获得满意的结果。由于它们可以被视为传统的机器学习技术,由于篇幅限制和现有评论,我们在此不作更详细的评论。除了人工智能中的神经网络,还有其他人工智能技术用于实现变化检测。最近,字典学习被采用,它的重点是从数据集中学习内部特征表示,就像AEs一样。细胞自动机(CA)是一种受细胞行为启发的时空离散模型,有助于模拟LULC的未来变化,并预测城市空间扩展。这些人工智能技术的发展极大地促进了变化检测的研究,这有助于开发更自动化、智能化和精确的方法,以满足各种应用的需要。

    Application

    在这里插入图片描述

    基于AI的变化检测面临的机遇和挑战

    要获取from-to变化图,后分类结构是最佳选择。如果训练样本不足,基于迁移学习的结构可以帮助缓解这一问题,而AEs和GANs的使用也可以减少对地面真相的依赖。基于长期序列数据的变化检测通常使用多模型集成结构和RNN模型来实现。CNN具有很强的特征提取能力,在有足够训练样本的情况下是最佳选择。基于AI的变化检测的各种应用表明,AI技术在RS社区的变化检测领域取得了巨大的成功。然而,在这些过程中有许多挑战,它们与以下方面有关:
    (1)随着各种平台和传感器的发展,它们带来了诸如高维数据集(高空间分辨率和高光谱特征)、复杂数据结构(非线性和重叠分布)和非线性优化问题(高计算复杂性)等重大挑战。多源数据的复杂性极大地增加了利用人工智能技术从训练数据中学习鲁棒性和区分性表示的难度。这可以看作是异构大数据处理的挑战;
    (2)受监督的人工智能方法需要大量的训练样本,这些样本通常是通过耗时且劳动密集的过程获得的,如人工解释遥感产品和遥感。在训练样本不足的情况下,实现基于人工智能方法的鲁棒模型是一个巨大的挑战。需要开发无监督的人工智能技术
    (3)目前,研究人员不断提出新的基于人工智能的变化检测方法。然而,选择一个有效的方法并确保其在不同应用中的准确性也是一个巨大的挑战。在实际应用中需要考虑人工智能的可靠性。

    这些挑战的一些解决办法如下:

    1.异构大数据处理

    异构性是大数据和异构数据的主要特征之一,导致在生成和分析变更检测结果时出现问题。从数据源的角度来看,遥感技术可以为变化检测提供各种数据类型,如SAR、GIS数据、高分辨率卫星图像以及各种时空测量数据。由于缺少值、高数据冗余和不真实性,这些数据类型和格式具有高度可变性的数据很难使用。此外,现有人工智能方法在遥感数据处理中的泛化能力有待提高,特别是在异构大数据处理中。因此,我们认为,以下几个方面需要进一步研究。
    (1)基于异构数据的一些基于人工智能的变化检测方法已经取得了令人满意的结果。这些研究的传感器类型和数据量相对有限。此外,它们主要考虑不同源数据之间的变化检测,而不是在同一时期发现数据融合。在同一时期充分利用多源数据(如光学遥感图像和数字高程模型)和数据融合理论(即各种类型数据的相互补偿),结合人工智能技术,将有助于充分提高变化检测的准确性。
    (2)由于目前的变化检测方法主要依赖于二维信息的检测,随着三维重建技术的发展,利用三维数据检测建筑物的变化等,也是未来的发展方向。在这些技术中,基于倾斜图像或激光点云数据的三维重建以及基于航空图像和地面街景图像的三维信息集成(即空-地集成)是研究的热点。目前还没有有效的人工智能技术来实现三维变化检测。
    (3)遥感大数据的处理需要大量的计算资源,限制了人工智能模型的实施。例如,大格式数据的处理通常需要分块处理,这很容易导致边缘问题。大量数据意味着人工智能模型中需要大量可训练参数,导致训练过程困难,并消耗大量计算资源。因此,有必要平衡数据量和可训练参数的数量。它们对基于人工智能的变化检测方法的设计提出了挑战。

    2.无监督AI

    尽管领域知识可用于帮助传统机器学习方法中的表示设计,但对人工智能的追求推动了更强大的无监督表示学习算法的设计。这是因为无监督人工智能具有直接从数据本身学习层次结构特征的能力,并可用于做出数据驱动的决策。无监督人工智能的研究可以从以下几个方面考虑:
    (1)由于在过去几年中缺乏用于训练有效人工智能模型的标记样本,许多研究人员对这些问题付出了巨大的努力,并始终取得了令人印象深刻的结果。新的无监督人工智能技术不断涌现,包括GAN、转移学习和AEs,虽然这些技术在一定程度上缓解了样本的不足,但仍有改进的余地。
    (2)变化检测通常被认为是一个低可能性问题(即变化图中的变化远大于变化),具有变化位置和方向的不确定性。由于缺乏先验知识,目前的无监督人工智能技术不容易解决这个问题。排除监督人工智能,弱监督和半监督人工智能技术是可行的解决方案,但需要进一步研究以提高性能。然而,用于变化检测的纯无监督人工智能技术应该是最终目标。
    (3)研究无监督人工智能技术的原因之一是缺乏训练样本,即先验知识。考虑到互联网已经进入网络2.0时代(强调用户生成的内容、易用性、参与性文化和最终用户的互操作性),使用群组源数据作为先验知识是一个很好的替代解决方案。例如,OpenStreetMap,一个免费的wiki世界地图,可以提供大量由志愿者标记的注释数据,用于人工智能模型的培训。虽然一些众包数据的标注精度不高,但人工智能模型也可以通过弱监督的方式进行训练来实现变化检测。

    人工智能的可靠性

    尽管许多使用人工智能的变化检测框架呈现了模型结构,但它们的可训练参数是不透明的,如黑匣子,这使得很难确定它们为什么做这些事情或如何工作。人工智能的可靠性旨在开发有助于提高变化检测方法可靠性和可解释性的技术。因此,有必要开发用于变化检测的健壮人工智能和可解释人工智能。我们仅从以下几个方面讨论可用于提高变更检测结果可靠性的策略:
    (1)策略1:减少数据源引起的误差,例如使用预处理(例如,光谱和辐射校正)来减少几何误差和光谱差异引起的数据不确定性,或者融合多个数据以提高原始数据的可靠性,从而提高了变化检测结果的可靠性。迄今为止,已有一些研究考虑了配准和算法融合的影响。
    (2)策略2:通过子模块模型结构提高AI模型的可解释性,通过理解每个子模块的功能,有助于理解整个AI模型的工作原理。例如,R-CNN中的区域建议组件可以清楚地理解为预测对象区域的生成器。
    (3)策略3:通过集成多种算法和结果,提高AI模型的鲁棒性。集成学习是一个很好的解决方案,它可以通过使用多个模型的结果来提高最终结果的准确性。
    (4)策略4:通过集成后处理算法,如马尔可夫随机场、条件随机场[246]和水平集演化,提高AI模型结果的实用性,这有助于去除噪声点并提供准确的边界。这对于某些制图应用至关重要;
    (5)策略5:通过精练的探测单位提高变化地图的精细度。根据变化检测的检测单元,从粗到细可分为场景级、面片或超像素级、像素级和亚像素级。从可靠性方面来看,亚像素级是遥感器的最佳选择,因为它缓解了遥感图像中混合像素的问题。然而,这很容易导致高计算复杂度。因此,根据不同的土地覆盖类型使用不同的检测单元是最佳解决方案,这需要设计良好的AI模型;
    (6)策略6:通过检测每个实例中的变化来改进变化图的表示。变化映射可以分为二进制映射、单类映射、from-to映射和实例映射。实例变更图更实用,但仍然缺乏研究。它可以为每个实例提供更改信息,并且更能反映真实世界的更改。此外,它还可以避免没有语义信息的二元映射的限制和分类系统对自-到映射的限制,从而提高最终结果的可靠性。

    展开全文
  • 1、The River Data Set(高光谱河流变化检测数据) 该数据集包含两幅高光谱影像,分别于2013年5月3日和12月31日采集自中国江苏省的某河流地区,所用传感器为Earth Observing-1 (EO-1) Hyperion,光谱范围为0.4—2.5...

    1、The River Data Set(高光谱河流变化检测数据)

    该数据集包含两幅高光谱影像,分别于2013年5月3日和12月31日采集自中国江苏省的某河流地区,所用传感器为Earth Observing-1 (EO-1) Hyperion,光谱范围为0.4—2.5 μm,光谱分辨率为10 nm,空间分辨率为30 m,影像大小为463×241像素,共有242个光谱波段,去除噪声后有198个波段可用。影像中的主要变化类型是河道缩减。

    图1 “River”数据集的高光谱影像

    下载地址

    文件分享

    参考文献:

    Wang Q, Yuan Z, Du Q and Li X, 2019.“GETNET: A General End-to-end Two-dimensional CNN Framework for Hyperspectral Image Change Detection,” IEEE Transactions on Geoscience and Remote Sensing (T-GRS), vol. 57, no. 1, pp. 3-13

    2、Hyperspectral Change Detection Dataset(高光谱图像

    该数据集可用于在多时相高光谱图像中执行变化检测,包括两个传感器采集的3个不同地区的高光谱影像对:

    • santaBarbara:影像大小为984×740像素,分别摄于2013年和2014年,所用传感器为AVIRIS,包括224个光谱波段

    • bayArea:影像大小为600×500像素,分别摄于2013年和2015年,所用传感器为AVIRIS,包括224个光谱波段

    • Hermiston:影像大小为390 ×200像素,分别摄于2004年和2007年,使用HYPERION传感器拍摄,包括242个光谱波段

    下载地址

    Hyperspectral Change Detection Dataset | Centro Singular de Investigación en Tecnoloxías Intelixentes - CiTIUS

    3、Wuhan multi-temperature scene (MtS-WH) Dataset(武汉多时相场景变化检测数据集

    本数据集包含两幅由IKONOS传感器获得,大小为7200 x 6000像素的大尺寸高分辨

    率遥感影像,覆盖范围为中国武汉市汉阳区,影像分别获取于2002年2月和2009年6月,分辨率为1 m,包含4个波段(蓝,绿,红和近红外波段)。每个时相训练集包括190幅影像,测试集包括1920幅影像

     图2 MtS-WH数据集整体图像和场景类别概览

    资料来源

    武汉大学智能感知与机器学习组

    4、Season-varying Change Detection Dataset

    该数据集包含3种类型图像:没有物体相对位移的合成图像、物体相对位移较小的合成图像、真实的季节变化遥感图像(Google Earth获得)。其中,具有真实季节变化的遥感图像包含7对4725×2700像素大小的图像,并从中采集得到16000个大小为256x256像素的样本对(10000个训练集,3000个测试集和3000个验证集),空间分辨率为3—100 cm。

    图3 数据集中的遥感图像样本对示例

    下载地址

    https://drive.google.com/file/d/1GX656JqqOyBi_Ef0w65kDGVto-nHrNs9/edit

    参考文献

    Lebedev, M. A., Vizilter, Y. V., Vygolov, O. V., Knyaz, V. A., and Rubis, A. Y.: CHANGE DETECTION IN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2, 565–571, 

    https://doi.org/10.5194/isprs-archives-XLII-2-565-2018, 2018.

    5、Onera Satellite Change Detection (OSCD)

    OSCD数据集由24对多光谱图像组成,这些图像于2015年和2018年由Sentinel-2卫星拍摄,包含13个波段,并具有10 m,20 m和60 m 3种空间分辨率。其中的14对图像具有对应的像素级变化标记,可以用来训练和设置变化检测算法的参数。其余10对图像的变化标记尚未公开, 但可以将预测的变化结果上传至IEEE GRSS DASE网站(http://dase.grss-ieee.org/)进行评估,计算每一类的准确性和混淆矩阵,检验变化检测算法的有效性。

    图4 “beirut”图像对及其变化图斑

    下载地址

    Onera Satellite Change Detection Dataset - Rodrigo Caye Daudt

    参考文献

    R. Caye Daudt, B. Le Saux, A. Boulch, Y. Urban Change Detection for Multispectral Earth Observation Using Convolutional Neural Networks. Gousseau IEEE International Geoscience and Remote Sensing Symposium (IGARSS’2018) Valencia, Spain, July 2018

    6、Change Detection Benchmark in Aerial Imagery (AICD Dataset)

    该数据集包含1000对800×600大小的图像及其对应的像素级变化标记,图像的地面分辨率约为0.5 m。数据集包含100个不同的场景,包含树木、建筑物等对象。

    此外,为了分析视点差异对检测性能的影响,每个场景分别从5个不同的视点进行拍摄。下图展示了视点的设置,摄像机在高度约为250 m,半径为100 m的范围内,以10°为间隔,固定倾角约为-70°进行5个视点的拍摄。

    图5 视点的设置

    图6 示例图像对及其变化图斑

    下载地址

    Change Detection Dataset | Computer Vision Online

    7、The Urban Atlas

    Urban Atlas数据集提供了主要欧盟城市范围内可对比的土地利用和土地覆盖数据,包含5份数据:(1) 2006年319个地区的城市功能区数据“Urban Atlas 2006”; (2) 2012年785个地区的城市功能区数据“Urban Atlas 2012”; (3) “Change 2006-2012”; (4) 部分区域的行道树图层“Street Tree Layer (STL)”; (5) 部分城市(欧盟28国和欧洲自由贸易联盟国家首都)的核心城区建筑高度数据“Building Height 2012”;

    其中,“Urban Atlas 2006”和“Urban Atlas 2012”包含每个地区的城市功能区矢量图层及对应区域PDF格式的高分辨率地图,而变化图层“Change 2006-2012”统计了“Urban Atlas 2006”和“Urban Atlas 2012”中共同包含的区域的城市功能区变化情况。

    图7 Urban Atlas数据集

    下载地址

    Urban Atlas — Copernicus Land Monitoring Service

    8、SZTAKI AirChange Benchmark set

    该数据集包含13对大小为952x640像素的航拍图像,空间分辨率为1.5m。

    图8 SZTAKI数据集的Szada-1图像对示例

    下载地址

    MPLab Earth observation

    参考文献

    Cs. Benedek and T. Szirányi:. 2009. ”Change Detection in Optical Aerial Images by a Multi-Layer Conditional Mixed Markov Model”, IEEE Transactions on Geoscience and Remote Sensing, vol. 47, no. 10, pp. 3416-3430

    9、LANDSAT images 

    美国国家地质调查局(USGS)网站上提供的LANDSAT图像开发的图像集。 该网站提供各种分辨率的图像,并提供图像中已发生更改的详细说明。可通过 dropbox | 百度网盘(b37d)获得。

     10、 ABCD dataset

    ABCD(AIST Building Change Detection)数据集是一个标记数据集,专门用于构建和评估损坏检测系统,以识别建筑物是否已被海啸冲走。该数据集中的每个数据都是一对海啸前后的航拍图像,并包含位于图像中心的目标建筑物。 分配给每个贴片对的类别标签(即“冲走”或“幸存”)表示海啸发生前贴片中心的建筑物是否被海啸冲走。

    图像分为两种:fixed-scale and resized。 Fixed-scale patches从航拍图像中裁剪出固定的160 x 160像素的图像; 因此它们具有与原始图像相同的分辨率(40厘米)。 相反,resized patches 根据每个目标建筑的大小进行裁剪(具体来说,是目标建筑的三倍大),然后全部调整为128 x 128像素; 因此 patches 的空间比例因建筑物而异。 所得的ABCD数据集包含 8,506 pairs for fixed-scale (4,253 washed-away) and 8,444 pairs for resized (4,223 washed-away)。

    根目录包含两个目录:fixed-scale /和resized /,每个目录对应于如上所述的fixed-scale和resize图像。 每个目录都有两个子目录:patch-pairs /和5fold-list /。 在patch-pairs/中,"washed-away" 和 "surviving" patch pairs 以.tif格式存储。 每个.tif文件包含6个通道,前三个通道用于海啸前的RGB图像,后三个通道用于海啸后的图像。 另外,5fold-list /中是csv文件,格式如下:

    11、CDD (in this Paper

    该数据集具有三种类型:没有对象相对移动的合成图像,对象相对移动较小的合成图像,随季节变化的真实遥感图像(由Google Earth获得)。 随季节变化的遥感图像具有16000个图像集,图像尺寸为256x256像素(10000个训练集以及3000个测试和验证集),空间分辨率为3至100 cm / px。可以通过 Google Drive | 百度网盘(x8gi) 获得。

    数据集中包含生成图像(具有随机背景和随机不相交的几何图形(正方形,圆形,矩形,三角形)的RGB图像对)和真实图像。具体介绍在论文的 EXPERIMENTS 部分。

    12. BCDD (in this Paper)

    数据集覆盖了2011年2月发生6.3级地震的区域,并在随后的几年中进行了重建。 该数据集包含2012年4月获得的航拍图像,其中包含20.5平方千米的12796座建筑物(2016年数据集中的同一区域有16077座建筑物)。 通过手动选择地面上的30个GCP,将子数据集地理校正为航空图像数据集,精确度为1.6像素。
    两个100%重叠的数据集,分别命名为“ after_change”和“ before_change”,可以完全用于测试变化检测算法的效果。

      13、WHU建筑数据集

    http://study.rsgis.whu.edu.cn/pages/download/building_dataset.html

    # 其中,主页包含4个数据集,均在官网提供快速下载

    2-1)航空影像数据集

    原始航拍数据来自新西兰土地信息服务网站。我们手动编辑了基督城的建筑矢量数据,大约有 22,000 座独立建筑。图像的原始地面分辨率为0.075m。由于航拍图像的大小(约25G),我们提供了两种下载数据的方法。可以从我们的网站或从林茨官网下载:

    https://data.linz.govt.nz/layer/51932-christchurch-post-earthquake-01m-urban-aerial-photos-24-february-2011/

    我们提供手动编辑的 shapefile 对应整个区域。

    我们还将大部分航拍图像(包括 18,7000 座建筑物)下采样到 0.3m 地面分辨率,并将它们裁剪成 8,189 个 512×512 像素的图块。shapefile 也被光栅化。即用型样本分为三个部分:训练集(130,500 座建筑物)、验证集(14,500 座建筑物)和测试集(42,000 座建筑物)。

    根据裁剪的顺序,您可以从瓦片中恢复原始图像。

    训练区(蓝框):64×74=4736瓦(宽×高)

    评价区域(橙色框):14×74=1036瓦

    测试区域(两个红框):17×42+23×74=2416块(part1+part2)

    整个航拍图数据集(25G)

    2-2)卫星数据集1(全球城市)

    其中之一是从世界各地的城市和各种遥感资源中收集的,包括QuickBird、Worldview系列、IKONOS、ZY-3等,我们手动勾画了所有建筑物。它包含 204 张图像(512 × 512 块,分辨率从 0.3 m 到 2.5 m 不等)。除了卫星传感器的差异外,大气条件的变化、全色和多光谱融合算法、大气和辐射校正以及季节使样本适合测试建筑物提取算法的鲁棒性,但具有挑战性。

    卫星数据集 I (113M)。

    2-2)卫星数据集2(东亚城市)

    另一个卫星建筑子数据集由 6 个相邻的卫星图像组成,覆盖东亚 860 平方公里,地面分辨率为 0.45 m。该测试区主要是为了评估和培养深度学习方法对同一地理区域内不同数据源但具有相似建筑风格的泛化能力。矢量建筑地图也是在 ArcGIS 软件中完全手动描绘的,包含 34085 座建筑物。整个图像被无缝裁剪为 17388 个 512×512 的图块,以方便训练和测试,其处理与我们的航空数据集相同。其中 25749 栋建筑(13662 格)用于训练,其余 8358 栋建筑(3726 格)用于测试。

    训练面积:186×54+67×54=13662(part1+part2)

    测试区域:69×54=3726(宽×高)(12/12/2018 细化更新形状文件)

    卫星数据集Ⅱ(13G)

    2-4)建筑变化检测数据集

    我们的数据集覆盖了 2011 年 2 月发生 6.3 级地震并在随后几年重建的区域。该数据集由 2012 年 4 月获得的航拍图像组成,其中包含 20.5 平方公里的 12796 座建筑物(2016 年数据集中同一区域的 16077 座建筑物)。通过在地表手动选择 30 个 GCP,子数据集被地理校正为航空数据集,精度为 1.6 像素。这个子数据集和来自原始数据集的相应图像现在与构建矢量和栅格地图一起公开提供。

    (2018 年 12 月 12 日更新)我们改进了矢量形状并提供了一个名为“A_training_aera_before_change”的新 2012 数据集,用于在更改前为场景训练 CNN 建筑提取模型。对于 2016 年的 CNN 模型,您可以使用第 1.3 节“裁剪后的图像瓦片和栅格标签(推荐使用,5G)”中提供的数据集进行训练。因此,可以充分利用两个 100% 重叠的数据集,分别命名为“after_change”和“before_change”,用于测试变更检测算法的效果。

    构建变更检测数据集 (3.4G)。

    14、武汉多应用高分辨率场景分类数据集(WH-MAVS)

    # 可期待,未公开数据集下载(20220118还没开放下载)

    官网链接:http://sigma.whu.edu.cn/newspage.php?q=2021_06_27

    Wuhan Multi-Application VHR Scene classification data set (WH-MAVS)

    WH-MAVS数据集是目前为止唯一一个围绕特大城市中心区域进行标注的,大范围、面向多应用、多时相的、带有地理坐标的场景分类数据集。该数据集不仅可以进行场景分类和场景变化检测的方法理论研究与验证,而且可以直接应用于土地利用与土地覆盖的实际生产,如城市制图与规划、景观生态学分析以及城市环境动态监测等领域,从而实现从算法到应用的“应用鸿沟”的跨越。

    本数据集主要从Google Earth影像上获取,空间分辨率1.2 m,影像大小为 47537×38100 像素的大尺寸高分辨率遥感影像。覆盖范围为中国武汉市中心城区,覆盖面积超过6800 km2。影像分别获取于2014年和2016年,包含红、绿、蓝三个波段。数据集在原始影像上易每个影像块大小为200×200像素不重叠的剪裁,且两个时相所有的样本地理坐标一一对应,每个时相包括23,202个为变化区域样本和365个变化样本。

    整个数据集的训练样本、验证样本以及测试样本都是在大尺度高分辨率遥感影像中选取产生的。每个时相数据样本量有23,567个,WH-MAVS 数据集总共47,134个样本。每个时相训练集包括16,496幅影像块,验证集包括4,713幅影像块测试集包括2,356张影像。训练集、验证集和测试集的场景影像块共划分为以下14个类别:

    数据集介绍

    数据集整体图像和场景类别概览如下图所示(更多信息请参考README文件):

    本数据集的版权属于武汉大学智能感知与机器学习研究组SIGMA (Sensing IntelliGence and MAchine learning lab, http://sigma.whu.edu.cn)。WH-MAVS数据集仅被授权应用于公开发表的科学研究和学术论文中。数据集及相关成果论文即将发表,敬请期待。

    15、SECOND数据集

    # 可下载

    官网链接:http://www.captain-whu.com/PROJECT/SCD/

    下载链接1:https://drive.google.com/file/d/1QlAdzrHpfBIOZ6SK78yHF2i1u6tikmBc/view?usp=sharing

    # 没有工具从GoogleDrive上下载资源的话可用下面好人上传到网盘的路径

    下载链接2:https://pan.baidu.com/s/1FSdlPB_EPk8SUAJZFcem9A【RSAI】

    论文链接:http://www.captain-whu.com/PROJECT/SCD/SCD_files/Semantic_Change_Detection.pdf

    论文摘要:给定两个多时相航拍图像,语义变化检测旨在定位土地覆盖变化并用像素边界识别它们的类别。在本文中,我们提出了一个非对称孪生网络(ASN) 通过从广泛不同结构的模块中获得的特征对来定位和识别语义变化,这些特征对涉及不同的空间范围和参数数量,以考虑不同土地覆盖分布的差异。为了更好地训练和评估本模型,还创建了一个大规模标注良好的语义变化检测数据集(SECOND),同时提出了自适应阈值学习(ATL)模块和分离的 kappa(SeK)系数来减轻标签的影响模型训练和评估不平衡。实验结果表明,所提出的模型可以稳定地优于当前多个具有不同编码器作为主干的算法。

    我们提出的 SECOND 数据集的几个样本。白色表示 {non-change} 区域,而其他颜色表示不同的土地覆盖类别。通过比较带注释的土地覆盖类别,可以获得 SCD 的真实情况。

    If you have any problem on the use of SECOND dataset or Asymmetric Siamese Network model, please contact:

    • Kunping Yang at kunpingyang@whu.edu.cn
    • Gui-Song Xia at guisong.xia@whu.edu.cn

     16、DSIFN Dataset

    # 可下载

    官网链接:https://github.com/GeoZcx/A-deeply-supervised-image-fusion-network-for-change-detection-in-remote-sensing-images/tree/master/dataset

    下载链接:https://pan.baidu.com/s/19TRsdPiRym9DoV76DukQ5g 【hetu】

    论文链接:Zhang et al.2020

    2020. DSIFN 数据集该数据集是从 Google Earth 手动收集的。它由六个大型双时相高分辨率图像组成,覆盖中国六个城市(即北京、成都、深圳、重庆、武汉、西安)。五个大的图像对(即北京、成都、深圳、重庆、武汉)被裁剪成 394 个大小为 512×512 的子图像对。数据增强后,获得了 3940 个双时相图像对的集合。将西安图像对剪裁成 48 个图像对进行模型测试。训练数据集中有 3600 个图像对,验证数据集中有 340 个图像对,测试数据集中有 48 个图像对。

    17、北航 LEVIR-CD Dataset

    # 可下载

    官网链接:https://justchenhao.github.io/LEVIR/

    下载链接1:https://pan.baidu.com/share/init?surl=fzNiOE7elGRmIo2h6MIhZw【l7iv】

    下载链接2:https://pan.baidu.com/s/1HlnKWToc00986jiTxhq_CA【rsai】

    论文链接:https://www.mdpi.com/2072-4292/12/10/1662

    2020. LEVIR-CD

    北航LEVIR实验室所提供的 LEVIR 建筑变化检测 (LEVIR-CD) 数据集是一个新的大规模遥感建筑变化检测数据集。引入的数据集将成为评估变更检测 (CD) 算法的新基准,尤其是那些基于深度学习的算法。

    LEVIR-CD 由 637 个超高分辨率(VHR,0.5m/像素)谷歌地球(GE)图像块对组成,大小为 1024 × 1024 像素。这些时间跨度为 5 到 14 年的双时态图像具有显着的土地利用变化,尤其是建筑增长。LEVIR-CD涵盖别墅住宅、高层公寓、小型车库、大型仓库等各类建筑。在这里,我们关注与建筑相关的变化,包括建筑增长(从土壤/草地/硬化地面或在建建筑到新的建筑区域的变化)和建筑衰退。这些双时态图像由遥感图像解释专家使用二进制标签(1 表示变化,0 表示不变)进行注释。我们数据集中的每个样本都由一个注释者进行注释,然后由另一个进行双重检查以生成高质量的注释。LEVIR-CD 包含总共 31,333 个单独的变更构建实例。

    如果您在使用 LEVIR-CD 时有任何问题或反馈,请联系

    陈浩 at justchenhao@buaa.edu.cn

    石振伟 at shizhenwei@buaa.edu.cn

    18、商汤SenseEarth2020-人工智能遥感解译大赛

    # 可下载

    官网链接:https://rs.sensetime.com/competition/index.html#/info

    下载链接:https://pan.baidu.com/s/1-zTu1TJhf3gjBmmPbcvk7A【rsai】

    冠军队伍项目:https://github.com/LiheYoung/SenseEarth2020-ChangeDetection

    AI瞰世界·2020人工智能遥感解译大赛为商汤科技主办的首届AI遥感解译大赛,旨在推动“空间信息稀疏表征与融合处理”的相关理论与技术的发展,解决空间信息稀疏表征、多维时空数据的融合处理、空间信息的快速提取与知识发现等技术问题,引领该技术领域的创新发展,并激发热爱地理信息和计算机视觉领域的年轻科学家探索前沿科技的无穷创造力。本届大赛希望遴选出高效的遥感图像变化检测算法模型,对图像中的变化图斑信息进行高效识别,提高空间信息网络建设中遥感图像快速变化识别能力。

    变化检测数据集包含图像对4,662组,分辨率在0.5~3m之间,图像尺寸为512*512大小。

    变化类型为6种主要土地性质之间的相互转化:水体、地面、低矮植被、树木、建筑物、运动场。每组数据中,前后时相的两张图片各自对应一张标注图,表示发生变化的区域以及该图片变化区域内各时期的土地性质。

    19、RssrAI2019-遥感图像稀疏表征与智能分析竞赛

    # 可下载

    官网链接:http://rscup.bjxintong.com.cn(已关闭)

    参考链接1:https://www.sohu.com/a/322434729_772793【比赛报名新闻】

    参考链接2:https://www.cnblogs.com/2008nmj/p/13607773.html【比赛介绍博客】

    下载链接:https://pan.baidu.com/s/1GZa_CxzWOcPOS54PM_FM2Q【rsai】

    本项竞赛由国家自然科学基金委信息科学部主办的《遥感图像稀疏表征与智能分析竞赛》。有包含遥感影像地物分割和变化检测在内的多个竞赛主题,其中变化检测赛道:参赛者们以光学遥感图像为处理对象,使用主办方提供的遥感图像进行建筑物变化检测,主办方根据评分标准对变化检测结果进行综合评价。竞赛中将提供两个不同时间获取的大尺度高分辨率遥感图像(包含蓝、绿、红和近红外四个波段),以及图像中变化区域的二值化标注数据集。

    PS:在几位参赛者的GitHub或博客里,均提到官方提供的数据标注质量较差(错/漏标)问题。

    PPS:我下载回来的数据,把tif图像文件直接打开是空白的?但查看大小应该没出问题,看了下别人代码貌似是需要读取处理可视化后才能看到内容。

    20、天池-TianChi【飞粤云端2017】广东政务数据创新大赛

    # 可下载

    官网链接:https://tianchi.aliyun.com/competition/entrance/231615/introduction

    下载链接:https://pan.baidu.com/s/12G5VWj8Hd6RFcjKT-9eMRg【rsai】

    冠军队伍项目:https://tianchi.aliyun.com/forum/postDetail?spm=5176.12586969.1002.9.37d5218eQKmWIY&postId=3483

    在国土监察业务中,很重要的一项工作是监管地上建筑物的建、拆、改、扩。如果地块未经审批而存在建筑物,那么需要实地派人去调查是否出现了非法占地行为。如果地块卖给了开发商但是没有实际建设,那么需要调查是否捂地或者是开发商资金链出现问题。如果居民住房/商业用地异常扩大,那么需要调查是否存在违章建筑。对于大城市及其郊区来说,不可能靠国土局公务员来每天全城巡查,而可以靠高分辨率图像和智能算法来自动完成这项任务。具体来说,需要靠高分系列卫星图像(米级分辨率),和深度学习算法来革新现有的工作流程。

    PS:和国内的遥感影像城市变化检测超强相关

    PPS:但这比赛的数据可以说需要在提供的数据基础上进行相当一部分人工标注工作,不能直接拿来训练网络

    PPPS:并且2015年和2017年的数据在清晰度等方面是存在差异的,需解决

    本次大赛覆盖广东省部分地区数百平方公里的土地,其数据共3个大文件,存储在OSS上,供所有参赛选手下载挖掘。卫星数据以Tiff图像文件格式储存。quickbird2015.tif是一张2015年的卫星图片,quickbird2017.tif是一张2017年的卫星图片。每个Tiff文件中有4个波段的数据:蓝、绿、红、近红外。本次比赛的卫星数据为多景数据拼接而成,这是国土资源工作中常见的实际场景。比赛数据在蓝、绿两个波段有明显的拼接痕迹,而红、近红外波段的拼接痕迹不明显。建议选手挑选波段使用数据,或者在算法中设计应对方案。每个像元以16-bit存储。

     

    目录

    1、The River Data Set(高光谱河流变化检测数据)

    2、Hyperspectral Change Detection Dataset(高光谱图像)

    3、Wuhan multi-temperature scene (MtS-WH) Dataset(武汉多时相场景变化检测数据集)

    4、Season-varying Change Detection Dataset

    5、Onera Satellite Change Detection (OSCD)

    6、Change Detection Benchmark in Aerial Imagery (AICD Dataset)

    7、The Urban Atlas

    8、SZTAKI AirChange Benchmark set

    9、LANDSAT images 

     10、 ABCD dataset

    11、CDD (in this Paper)

    12. BCDD (in this Paper)

      13、WHU建筑数据集

    14、武汉多应用高分辨率场景分类数据集(WH-MAVS)

    15、SECOND数据集

     16、DSIFN Dataset

    17、

    北航 LEVIR-CD Dataset

    18、商汤SenseEarth2020-人工智能遥感解译大赛

    19、RssrAI2019-遥感图像稀疏表征与智能分析竞赛

    20、天池-TianChi【飞粤云端2017】广东政务数据创新大赛

    描述


    21、中山大学-香港建筑变化检测数据集

    (20211019更新)

    # 可下载

    官网链接:GitHub - liumency/SYSU-CD: A new change detection dataset in "A Deeply-supervised Attention Metric-based Network and an Open Aerial Image Dataset for Remote Sensing Change Detection"

    # 除了直接进入官方Github还有别人采集总结好的地址

    下载链接:飞桨AI Studio - 人工智能学习与实训社区

    论文链接:https://ieeexplore.ieee.org/document/9467555

    我们最近在IEEE Transactions on Geoscience and Remote Sensing 上发表的基于深度监督的注意力度量的网络和用于遥感变化检测的开放航空图像数据集”变化检测数据集。

    描述

    • 该数据集包含 20000 对 2007 年至 2014 年在香港拍摄的 0.5 米航拍图像,尺寸为 256×256。
    • 数据集中的主要变化类型包括: (a) 新建城市建筑;(b) 郊区扩张;(c) 施工前的基础工作;(d) 植被的变化;(e) 道路扩建;(f) 海上建设。

     

     

     

     

    目录

    1、The River Data Set(高光谱河流变化检测数据)

    2、Hyperspectral Change Detection Dataset(高光谱图像)

    3、Wuhan multi-temperature scene (MtS-WH) Dataset(武汉多时相场景变化检测数据集)

    4、Season-varying Change Detection Dataset

    5、Onera Satellite Change Detection (OSCD)

    6、Change Detection Benchmark in Aerial Imagery (AICD Dataset)

    7、The Urban Atlas

    8、SZTAKI AirChange Benchmark set


    展开全文
  • 可以作为遥感图像变化检测学习的资源,有变化检测部分,有阈值分割部分
  • 针对成对双时相变化检测训练样本标注耗时、收集困难的问题,提出了一种新颖的弱监督学习算法STAR (Single-Temporal supervised LeARning),其利用非成对单时相遥感影像构造伪双时相监督信号,以学习变化表征;...

    关注公众号,发现CV技术之美

    ed2e2baef7a3366e4a35cc4283633c5b.png

    论文: https://arxiv.org/pdf/2108.07002.pdf

    项目: https://zhuozheng.top/changestar/

    代码: https://github.com/Z-Zheng/ChangeStar

    第一作者主页:https://zhuozheng.top

    该工作是武汉大学测绘遥感信息工程国家重点实验室RSIDEA团队在变化检测方面的工作,已被ICCV 2021接收。

    针对成对双时相变化检测训练样本标注耗时、收集困难的问题,提出了一种新颖的弱监督学习算法STAR (Single-Temporal supervised LeARning),其利用非成对单时相遥感影像构造伪双时相监督信号,以学习变化表征;

    同时提出了一种变化检测新架构ChangeStar,其通过核心模块ChangeMixin,可将任意语义分割模型转化为变化检测器,从而复用现有的优秀架构,揭示了语义分割与变化检测之间的内在联系。

    实验表明,单时相监督下的ChangeStar较Baseline取得显著提升, 在Zero-Shot验证条件下,与强监督模型精度差距缩小到10%以内;在强监督(双时相监督)的设定下,基于FarSeg的ChangeStar在LEVIR-CD数据集上实现了state-of-the-art的精度。

    1

    变化无处不在

    我们观察到,成对标记的位时图像的重要性在于,变化检测器需要成对的语义信息来定义对象变化检测的正负样本。这些正、负样本通常是由两个不同时间的像素在同一地理区域是否具有不同的语义来决定的。

    位时像素的语义控制着标签分配,而位置一致性条件(两个时相的像素应处于相同的地理位置)仅用于保证独立同分布的训练和推理。可以想象,如果我们松弛位置一致性条件来定义正负样本,那么变化是无处不在的,尤其是在未配对的图像之间。

    2

    方法简介

    2.1 单时相监督学习算法STAR: Single-Temporal supervised LeARning

    STAR旨在通过带有语义像素标签的任意图像对学习一个可泛化的变化检测器。为了实现这一点,我们构造了伪双时相图像对,松弛了传统的双时相监督的变化检测学习问题,如下式:

    40af1b1789d1a000aedcef94f930a7ce.png

    其中aba4192ca33e87d401efe73776be6607.png为真实双时相图像对,对应的Y是其语义像素标签,F为变化检测器,31651184ee2596fe62464b605cf13c36.png为变化检测器参数。将伪双时相图像对be95fd97651b6da22bdd8c40d0531315.png替换为真实双时相图像对,并重新利用逻辑异或运算分配伪双时相图像对的变化标签,从而将原学习问题松弛为下式的仅利用单时相图像即可完成的学习问题:

    68cb60192811c1dcd4cf38c1861497b8.png

    伪双时相图像对:为了利用单时相图像提供监督信号,我们提出了一种伪双时相图像对构建技术,其通过对一个训练批次中的图像76b48e0300f559cbe90c4d82405ca9eb.png进行随机排列得到伪第二时相图像83eca2bef54503745f195051def087f0.png,并且保证每个伪图像对中的图像各不相同。通过观察可以发现,伪双时相图像对的变化标签可用两张图像的语义像素标签(one-hot为二值标签)的逻辑异或表示,这样即可完成伪双时相图像对的正负样本定义。

    9dc7c255d57e1c27705735e410c61e93.png

    图1:模型训练与推理流程

    2.2 变化检测新架构ChangeStar = Any Segmentation Model + ChangeMixin

    ChangeStar是一个简单而统一的网络,由一个深度语义分割模型和ChangeMixin模块组成。这种设计的核心思想在于重用现代语义分割架构,因为语义分割和物体变化检测都是密集的预测任务。

    为此,我们设计了ChangeMixin模块,使任何现成的深度语义分割模型能够检测物体变化。ChangeMixixin模块由若干卷积层和一个时序交换模块组成,其输入由分割模型计算得到的高分辨率语义特征,输出双向的变化检测图用于后续的学习与推理。

    我们在实验中发现,一个收敛的模型,双向变化检测图相似度极高,因此在推理阶段我们选择其中一个方向的变化检测图作为最终预测值。

    3

    主要实验结果

    这部分展示了所提出方法在不同训练数据与测试数据下的泛化性实验结果。对比方法采用基于深度语义分割模型的分类后比较法,作为单时相监督的基线。实验结果表明,所提出的方法可有效提升单时相监督下的变化检测性能,具有很好的泛化性能。

    1ce454d8878669eb41f46dcb38be74c4.png

    同时为了验证所提出架构的有效性,我们在双时相监督下训练了ChangeStar模型的各种变体。实验结果(表4)表明ChangeStar架构对已有的分割模型具有良好的兼容性,在相同骨干网络的情况下可取得更加优异的性能。

    2cff364155c4ed4ea1282c8a8a5cd633.png

    为了了解单时相、双时相监督之间的实际差距,我们利用相同模型开展了多组对照实验,从实验结果中可以发现,单时相监督作为一种弱监督信号,与双时相监督这种强监督信号相比仍有一定差距,但差距随着骨干网络容量的提升而减小,目前F1精度差距最小可缩小到10%以内。

    然而本文提出的方法仅仅是在单时相监督上的初步探索,未来还有更大的改进空间,例如使用模型容量更大的transfomer模型作为基础模型、更大的单时相监督数据、更好的单时相监督学习策略都是值得未来探索的研究话题。

    a34aa4d44d3deaa689ffd220fd128a15.png

    更多的消融实验与讨论可见原文。

    4

    总结

    在这项工作中,我们提出了单时相监督学习算法(STAR),从而巧妙绕过了传统的双时相监督学习中收集成对标记数据成本高的问题。STAR提供了一个利用任意图像对中的物体变化作为监督信号的新视角。

    为了证明STAR的有效性,我们设计了一个简单而有效的多任务架构,称为ChangeStar,用于联合语义分割和变化检测,它可以通过进一步提出的ChangeMixin模块重新使用任何深度语义分割架构。

    大量的实验分析表明,提出的方法可以以较弱监督信息学习一个鲁棒的变化检测器;同样双时相监督条件下,超越了目前的state-of-the-art方法。我们希望STAR将作为一个坚实的基线,在未来服务于弱监督变化检测研究。

    03ad010dde681dbaaa6b5f00bb8d11f5.png

    END

    欢迎加入「弱监督交流群👇备注:监督

    dcef95220fbb5134e48f803b83badc64.png

    展开全文
  • 遥感变化检测数据集

    2021-11-22 09:18:00
    遥感变化检测数据集 遥感变化检测任务是利用多时相的遥感数据,采用多种图像处理和模式识别方法提取变化信息,并定量分析和确定地表变化的特征与过程。它涉及变化的类型、分布状况与变化量,即需要确定变化前、后的...
  • ENVI使用实习:城市遥感变化检测

    千次阅读 2020-05-18 20:52:49
    1.1.熟悉遥感影像变化检测的主要方法 1.2.熟悉ENVI遥感影像变化检测流程和主要步骤 1.3.掌握ENVI常用的遥感影像变化检测工具 1.4.掌握图像直接比较和分类后比较两种变化检测方法 2.实验内容 2.1.图像直接比较法...
  • 遥感变化检测,顾名思义,就是利用多张静态的遥感图像所反应的信息,在相互比较、多种处理手段下获取各种地表信息动态变化的方式。遥感变化检测的工作对象是同一地区不同时期的图像。 简单理解,遥感变化检测类似一...
  • SAR图像变化检测常用的算法,其中包括有PCA算法,MAD算法,IMAD算法。 内涵数据集,附上PCA算法,MAD算法,IMAD算法处理的指标分析(均值,方差,Kappa指数,检错率,漏检率等)。亲测可用
  • 首先简述和分析了遥感图像变化检测的基本概念,指出变化检测的本质是一类模式分类问题;然后全面回顾了现有变化检测方法,将其归纳为像素级、特征级和目标级三大类,详细论述了各种方法的基本原理和特点并对其适用...
  • 学习遥感相关专业必不可少的代码资源,本GUI界面设计精美,包括相关系数法、归一化法和比值法三种变化检测方法
  • 遥感影像变化检测方法遥感影像变化检测方法遥感影像变化检测方法
  • 遥感影像变化检测方法综述及展望.pdf
  • 文章提出了基于多尺度分割与融合的对象级变化检测的新方法。首先利用由细到粗的尺度分割来获取不同尺寸的目标对象,然后依据对象的特征进行变化向量分析得到各个尺度上的变化检测结果。
  • Matlab 代码。遥感影像变化检测经典算法(IR-MAD、MAD、CVA、PCA)。 可直接运行。 有问题的可以交流。 感谢下载。
  • 遥感变化检测权威论文,值得大家学习,研究,从入门的综述(全),到专业的技术,还有实现的部分MATLAB代码 遥感变化检测权威论文,值得大家学习,研究,从入门的综述(全),到专业的技术,还有实现的部分MATLAB代码
  • 可以作为遥感图像变化检测学习的资源,有变化检测部分,有阈值分割部分
  • 首先我们应该我们了解到遥感图像的变化检测是建立在多时相的基础上的,也就是说,我们对于神经网络的输入至少是有两张图片的,而且必须有一个标签来知道变化的区域的是那一块。 在双时相变化检测里,一般来说对于...
  • vc6.0编写的变化检测的程序,简单易懂,适合初学者 vc6.0编写的变化检测的程序,简单易懂,适合初学者 vc6.0编写的变化检测的程序,简单易懂,适合初学者 vc6.0编写的变化检测的程序,简单易懂,适合初学者
  • 用于遥感图像的变化检测。。。。。。。。。
  • STANet用于遥感图像变化检测 它是本文的实现:一种基于时空注意力的方法和一种用于遥感影像变化检测的新数据集。 在这里,我们提供了时空注意力神经网络(STANet)的pytorch实现,用于遥感图像变化检测。 变更记录 ...
  • 基于ENVI的变化检测方法试验研究,安宁,李钢,变化检测技术是遥感应用研究的热点领域,通常将该技术归为两类:光谱直接比较法和分类后比较法。但还没有一种通用的变化检测方法
  • 采用直接比较和基于小波边缘检测方法处理两个时相的影像,比较结果。
  • K-Means算法实现遥感图像变化检测,k均值算法
  • 实现SAR遥感图像变化检测,fcm算法,模糊c均值算法
  • 遥感影像变化检测

    2020-05-05 16:03:31
    该代码实现了遥感影像的变化检测功能,另外也附上了适用图片供各位进行测试。 该代码实现了遥感影像的变化检测功能,另外也附上了适用图片供各位进行测试。
  • 极为有用的变化检测论文。 如需要代码可以联系我。
  • Github复现之遥感影像变化检测框架

    千次阅读 热门讨论 2021-12-19 14:14:01
    GitHub - likyoo/change_detection.pytorch: Deep learning models for change detection of remote sensing imageshttps://github.com/likyoo/change_detection.pytorch这个框架用起来很方便,下载以后基本不用改...
  • 本文是论文《多时相遥感影像变化检测方法综述》的阅读笔记。由于文章是中文的,强烈建议阅读原文,本文也尽可能用文章中的原话来描述问题。 一、变化检测简述 变化检测根据对同一物体或现象在不同时间的观测来确定...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,053
精华内容 1,621
关键字:

遥感变化检测

友情链接: 95232713.rar