变化检测指对某一场景中感兴趣的物体或现象的变化进行识别的技术,其广泛应用于城市规划、灾害管理、农业调查和环境监测等领域。变化监测最早以实地调查为主,不仅劳动强度大、效率低,而且难以获得大范围的实时数据。
伴随着对地观测技术的出现与发展,短周期低成本的高分辨率遥感影像的获取成为了可能,并为包括变化检测在内的土地利用规划、生态监测、自然灾害评估等领域提供了一种更具可扩展性和效率的方法。
然而,遥感影像的复杂性会导致多种难以辨别的伪变化的出现,从而使得变化检测的精度过于依赖人为决策,需要大量的先验知识与人工干预。深度学习虽减轻了变化检测对于人工的需求,但仍需要大量人工标记数据来训练模型。
近年来出现的基础模型,如SAM、CLIP等,提供了大量的通用领域先验知识,从而促进了知识在不同领域之间的转移和重用。这有效地减少了传统训练过程中对特定领域数据的依赖。然而,这些基础模型往往是基于自然图片进行训练的,与遥感影像存在较大的差异,无法直接应用于遥感视觉任务中。
图1:本文提出的变化检测方法框架
本文提出的变化检测框架主要分为以下四个部分:
利用融合矢量边界约束和纹理特征的简单线性迭代聚类(SLIC)算法对两期影像进行超像素分割并实现样本的自适应生成与自动化标注。
图2:矢量边界约束的SLIC算法步骤
利用CoOp对CLIP进行微调,探究适用于遥感领域的文本提示。在此基础上,通过设计文本标签对训练数据进行纯化,获取大量高质量样本。
图3:样本纯化过程
采用基于通道注意力机制的双线性神经网络(CAB-CNN)模型对超像素裁剪单元进行分类。
图4:CAB-CNN框架
构建一个包含多种变化规则的决策器对预测结果与矢量数据进行比较和后处理,进而定位变化图斑。并利用SAM模型对变化图斑进行细化,提取变化的地物边界。
本文选取江苏省扬州市广陵区和江苏省无锡市惠山区前洲街道这两块在土地利用类型、光谱特征以及主要变化类型方面均存在差异的区域作为实验区域,旨在对所提出的方法框架的有效性与普适性进行验证。
图5:广陵区数据集详情
广陵区包括两期分别采集于2022年和2023年的高分二号卫星影像以及第一期影像对应的土地覆盖矢量数据。影像包含RGB波段,图像分辨率为1m,覆盖面积为265.36km²。
图6:前洲街道数据集详情
前洲街道数据同样包含2期高分二号卫星遥感影像以及第一期影像对应的土地覆盖矢量数据。2期影像分别采集于2018年和2020年,含RGB波段,空间分辨率为1m,覆盖面积为46.42km²。
为了验证所提超像素分割方法的有效性,本文将其与传统SLIC以及基于能量驱动采样的超像素分割方法(SEEDS)进行对比。实验结果表明:
图7:不同分割算法的定量对比
图8:纯化前后性能比较
为了验证CAB-CNN网络的有效性,本文通过目视解译的方法为测试集数据制作标签,并以总体精度(Overall Accuracy, OA)和Kappa系数作为指标来评估模型的分类精度,并与现有的一些分类模型进行对比实验。
类别 | 模型 | OA/% | Kappa系数 |
---|---|---|---|
基于CNN | ResNet-50 | 86.17 | 0.834 |
EfficientNet-B0 | 85.74 | 0.827 | |
B-CNN | 87.87 | 0.859 | |
基于Transformer | Swin Transformer | 87.06 | 0.845 |
PVTv2 | 87.24 | 0.840 | |
基于多层感知机 | WaveMLP | 88.04 | 0.850 |
本文方法 | CAB-CNN | 88.94 | 0.872 |
由表可看出,本文提出的网络在OA以及Kappa系数这两个关键指标上均优于其他方法,分别超过了次优模型0.9%和1.3%,证明了该方法在细粒度分类任务中的优越性。
本实验构建了一个可以通过更改与扩展规则以满足不同的检测需求的变化决策器,基于不同变化类型的变化规则定位变化图斑,得到矢量级的变化检测结果。本文将此结果与基于变化像元统计的变化检测结果作对比。
变化检测方法 | 广陵区 | 前洲街道 | ||
---|---|---|---|---|
准确率 | 召回率 | 准确率 | 召回率 | |
基于变化像元统计 | 80.19% | 82.56% | 81.10% | 84.58% |
本文方法 | 86.47% | 90.46% | 89.75% | 91.37% |
图9:变化检测结果的可视化对比
图10:局部细节与边界细化
为了验证提出方法中每个模块的有效性,本文针对性地进行了对比消融实验。具体来说,构建了一个采用常规SLIC算法进行分割且不对样本进行任何纯化,并使用ResNet-50作为骨干网络进行分类的基线模型。
模块组合 | 广陵区 | 前洲街道 | |||||
---|---|---|---|---|---|---|---|
基线模型 | 改进SLIC | CLIP纯化 | CAB-CNN | 准确率 | 召回率 | 准确率 | 召回率 |
✓ | 79.92% | 83.46% | 77.32% | 78.92% | |||
✓ | ✓ | 82.06% | 86.18% | 83.47% | 85.06% | ||
✓ | ✓ | ✓ | 83.79% | 88.12% | 85.29% | 88.40% | |
✓ | ✓ | ✓ | ✓ | 86.47% | 90.46% | 89.75% | 91.37% |