研究背景

变化检测指对某一场景中感兴趣的物体或现象的变化进行识别的技术,其广泛应用于城市规划、灾害管理、农业调查和环境监测等领域。变化监测最早以实地调查为主,不仅劳动强度大、效率低,而且难以获得大范围的实时数据。

伴随着对地观测技术的出现与发展,短周期低成本的高分辨率遥感影像的获取成为了可能,并为包括变化检测在内的土地利用规划、生态监测、自然灾害评估等领域提供了一种更具可扩展性和效率的方法。

然而,遥感影像的复杂性会导致多种难以辨别的伪变化的出现,从而使得变化检测的精度过于依赖人为决策,需要大量的先验知识与人工干预。深度学习虽减轻了变化检测对于人工的需求,但仍需要大量人工标记数据来训练模型。

近年来出现的基础模型,如SAM、CLIP等,提供了大量的通用领域先验知识,从而促进了知识在不同领域之间的转移和重用。这有效地减少了传统训练过程中对特定领域数据的依赖。然而,这些基础模型往往是基于自然图片进行训练的,与遥感影像存在较大的差异,无法直接应用于遥感视觉任务中。

研究方法

变化检测方法框架图

图1:本文提出的变化检测方法框架

本文提出的变化检测框架主要分为以下四个部分:

1

样本生成

利用融合矢量边界约束和纹理特征的简单线性迭代聚类(SLIC)算法对两期影像进行超像素分割并实现样本的自适应生成与自动化标注。

矢量边界约束的SLIC算法步骤

图2:矢量边界约束的SLIC算法步骤

2

样本纯化

利用CoOp对CLIP进行微调,探究适用于遥感领域的文本提示。在此基础上,通过设计文本标签对训练数据进行纯化,获取大量高质量样本。

样本纯化过程

图3:样本纯化过程

3

分类模型训练

采用基于通道注意力机制的双线性神经网络(CAB-CNN)模型对超像素裁剪单元进行分类。

CAB-CNN框架

图4:CAB-CNN框架

4

检测与后处理

构建一个包含多种变化规则的决策器对预测结果与矢量数据进行比较和后处理,进而定位变化图斑。并利用SAM模型对变化图斑进行细化,提取变化的地物边界。

实验设计

实验区域与数据来源

本文选取江苏省扬州市广陵区和江苏省无锡市惠山区前洲街道这两块在土地利用类型、光谱特征以及主要变化类型方面均存在差异的区域作为实验区域,旨在对所提出的方法框架的有效性与普适性进行验证。

广陵区数据集详情

图5:广陵区数据集详情

广陵区包括两期分别采集于2022年和2023年的高分二号卫星影像以及第一期影像对应的土地覆盖矢量数据。影像包含RGB波段,图像分辨率为1m,覆盖面积为265.36km²。

前洲街道数据集详情

图6:前洲街道数据集详情

前洲街道数据同样包含2期高分二号卫星遥感影像以及第一期影像对应的土地覆盖矢量数据。2期影像分别采集于2018年和2020年,含RGB波段,空间分辨率为1m,覆盖面积为46.42km²。

实验结果与分析

样本生成与纯化

为了验证所提超像素分割方法的有效性,本文将其与传统SLIC以及基于能量驱动采样的超像素分割方法(SEEDS)进行对比。实验结果表明:

  • 对SLIC算法进行边界约束可以有效的将超像素块控制在矢量图斑内部,一定程度上提高了超像素块内部的地物类别一致性。
  • 改进的SLIC算法通过融合边界约束与纹理信息,在设置任意分割单元数的情况下均优于SEEDS以及传统SLIC算法,具有较高的边界召回率与较低的欠分割误差。
不同分割算法的定量对比

图7:不同分割算法的定量对比

纯化前后性能比较

图8:纯化前后性能比较

分类模型训练

为了验证CAB-CNN网络的有效性,本文通过目视解译的方法为测试集数据制作标签,并以总体精度(Overall Accuracy, OA)和Kappa系数作为指标来评估模型的分类精度,并与现有的一些分类模型进行对比实验。

类别 模型 OA/% Kappa系数
基于CNN ResNet-50 86.17 0.834
EfficientNet-B0 85.74 0.827
B-CNN 87.87 0.859
基于Transformer Swin Transformer 87.06 0.845
PVTv2 87.24 0.840
基于多层感知机 WaveMLP 88.04 0.850
本文方法 CAB-CNN 88.94 0.872

由表可看出,本文提出的网络在OA以及Kappa系数这两个关键指标上均优于其他方法,分别超过了次优模型0.9%和1.3%,证明了该方法在细粒度分类任务中的优越性。

变化后处理

本实验构建了一个可以通过更改与扩展规则以满足不同的检测需求的变化决策器,基于不同变化类型的变化规则定位变化图斑,得到矢量级的变化检测结果。本文将此结果与基于变化像元统计的变化检测结果作对比。

变化检测方法 广陵区 前洲街道
准确率 召回率 准确率 召回率
基于变化像元统计 80.19% 82.56% 81.10% 84.58%
本文方法 86.47% 90.46% 89.75% 91.37%
变化检测结果的可视化对比

图9:变化检测结果的可视化对比

局部细节与边界细化

图10:局部细节与边界细化

消融实验

为了验证提出方法中每个模块的有效性,本文针对性地进行了对比消融实验。具体来说,构建了一个采用常规SLIC算法进行分割且不对样本进行任何纯化,并使用ResNet-50作为骨干网络进行分类的基线模型。

模块组合 广陵区 前洲街道
基线模型 改进SLIC CLIP纯化 CAB-CNN 准确率 召回率 准确率 召回率
79.92% 83.46% 77.32% 78.92%
82.06% 86.18% 83.47% 85.06%
83.79% 88.12% 85.29% 88.40%
86.47% 90.46% 89.75% 91.37%

结论与讨论

研究结论

  1. 本文所提出的改进SLIC算法,通过融合边界特征与纹理信息,在多种参数设置下均展现出相较于SEEDS算法以及常规SLIC算法的优势,能够更为有效地实现高精度的超像素分割。
  2. 利用微调后的CLIP模型对自动切割并标注的样本进行纯化处理,可显著提升分类模型的精度,同时为两个实验区域的变化检测结果带来精度上的提升。
  3. 本文提出的CAB-CNN分类模型借助通道注意力模块融合双分支网络的图像特征,在OA以及Kappa系数这两个关键指标上优于实验中的其他方法。
  4. 本文提出的变化检测框架在广陵区取得了86.47%的准确率和90.46%的召回率,在前洲街道的准确率和召回率分别达到89.75%和91.37%,均显著优于基于变化像元的变化检测方法。

讨论与局限性

  1. 本文利用现有矢量数据实现样本的自生成。虽然在一定程度上减少了变化检测过程中的样本需求,但其本质仍是标签参与下的监督学习,在缺少矢量数据的地区难以有效应用。
  2. 本文的算法框架本质上是一种分类后变化检测,不可避免地存在累计分类误差造成的精度下降。
  3. 本文在边界细化上提出了一种可行性方案,该方案在实际的应用中仍存在着部分限制,所得边界仅能在一定程度上减少人工成本。
  4. 由于本文提出的是一个泛用性的框架,下一步的研究将会聚焦于更为具体的实际应用,像是违法用地检查与耕地非粮化等,以进一步验证该框架在不同领域的适用性。