研究背景与意义
异源影像变化检测是遥感领域的研究热点，现有研究通常先把异源影像通过域迁移方法得到伪同源影像，再从伪同源影像中提取变化信息，存在异源影像中地物特征的互补信息利用不充分问题。
本研究围绕域迁移得到的多时相异源影像对（每个时相都有一对异源影像）开展变化检测，解决多时相异源影像对的时相-空间-频谱联合特征融合提取，并在无标注样本情况下进行无监督变化检测等极具挑战性的问题。
研究创新点
- 提出基于斑块相似性评估的伪标签样本数据集生成方法，克服深度学习变化检测模型对人工标注样本数据的依赖
- 构建融合异源影像的2维、3维混合卷积神经网络模型，用于提取变化信息
- 充分利用异源影像之间的特征互补优势，有效提取多时相异源影像对的时相-空间-频谱联合特征
研究方法
PLS-PSA方法
为克服深度学习变化检测模型对人工标注样本数据的依赖，本文提出了基于斑块相似性评估的伪标签样本（Pseudo-Labeled Sample based on Patch Similarity Assessment，PLS-PSA）数据集生成方法。
斑块裁剪
采用滑动裁剪方式获取大小为P×P的斑块，相邻斑块之间的重叠与滑动步长s有关。
pHash相似性评估
对从X1、Y1裁剪的每一对斑块使用pHash进行相似性评估，获取相似性评估指标p1；同样地，对从X2、Y2裁剪的每一对斑块进行pHash相似性评估并获取相似性指标p2。
OTSU阈值分割
对P1和P2使用OTSU方法进行阈值分割，大于阈值的数值被认为是变化区域，小于阈值的被认为是未变化区域。
变化图获取
P1和P2中的数值被分为变化区域和未变化区域两部分，通过赋值将获取2组变化图CD1和CD2。
生成伪参考图PRI
对2组变化图CD1和CD2求交集获取变化区域更加可靠的PRI。PRI图由3部分组成，其中CD1和CD2中均变化的区域在PRI图中被当作发生变化的区域（赋值255）；CD1和CD2中均未发生变化的区域在PRI图中被当作未发生变化的区域（赋值0）；CD1和CD2中变化与未变化不一致的区域在PRI图中被当作不确定是否变化的区域（赋值125）。
伪标签数据集生成
依据PRI，当变化或未变化的区域占整个斑块的比例大于w时，该斑块数据被认为是可信任的确定样本数据，分别纳入Pch_data、Pun_data数据集中，用作变化检测模型的训练。
融合异源影像的混合CNN变化检测模型
为提取时相-空间-频谱联合特征，实现异源影像互补特征集成，提高变化信息提取的可靠性，本文构建了一种融合异源影像的混合CNN模型（Fusion Heterogeneous Images based on Hybrid_CNN，FHI_HCNN）。
FHI_HCNN网络主要由3D-CNN和2D-CNN两个模块组成：
3D-CNN模块
时相-空间-频谱特征提取器，通过异源影像的联合特征提取，综合考虑不同传感器所获取影像的特征差异及互补优势，提高变化检测结果的可靠性。
2D-CNN模块
融合联合特征的变化信息提取器。考虑到T维度含有异源影像互补特征信息，C维度包含多时相土地覆盖变化信息，将T与C维度拼接，进一步集成异源影像互补特征提取变化信息。
FHI_HCNN将3D-CNN和2D-CNN相融合构成混合CNN架构，通过3D-、2D-CNN的优势互补，高效实现面向多时相异源影像对的时相-空间-频谱联合特征提取与变化检测，结合本文提出的伪标签样本数据集自动选取方法PLS-PSA，可望提高变化检测的自动化程度和变化检测结果的精度。
实验结果与分析
实验数据
本文把基于CycleGAN预处理获取的多时相异源影像对作为实验数据，包括曙光数据集和格洛斯特数据集。
曙光数据集
- 位于中国东营地区
- 2009年6月和2012年9月分别通过Radarsat-2卫星和谷歌地球获得
- 影像大小：921像元×593像元
- 空间分辨率：8 m
- 主要变化：建筑施工
格洛斯特数据集
- 位于英国格洛斯特地区
- 1999年和2000年分别通过Spot卫星和NDVI获得
- 影像大小：554像元×990像元
- 空间分辨率：25 m
- 主要变化：洪水事件
定量分析结果
表1：不同方法在曙光数据集中的评价指标结果
| 方法 | 总体精度 | F1-Score | Kappa系数 |
|---|---|---|---|
| INLPG | 0.972 2 | 0.686 1 | 0.671 6 |
| IRG-McS | 0.982 5 | 0.802 6 | 0.793 5 |
| cGAN | 0.918 0 | 0.371 0 | 0.331 1 |
| CA-UCD | 0.935 7 | 0.535 5 | 0.505 0 |
| M_Unet | 0.979 9 | 0.731 7 | 0.721 8 |
| FHI_3DCNN | 0.962 6 | 0.674 8 | 0.655 8 |
| FHI_HCNN_DS | 0.981 7 | 0.783 7 | 0.774 2 |
| FHI_HCNN(本文) | 0.983 3 | 0.820 4 | 0.811 7 |
表2：不同方法在格洛斯特数据集中的评价指标结果
| 方法 | 总体精度 | F1-Score | Kappa系数 |
|---|---|---|---|
| INLPG | 0.843 6 | 0.583 8 | 0.544 2 |
| IRG-McS | 0.954 4 | 0.814 2 | 0.801 4 |
| cGAN | 0.838 6 | 0.501 8 | 0.468 6 |
| CA-UCD | 0.930 5 | 0.738 0 | 0.716 0 |
| M_Unet | 0.903 9 | 0.708 1 | 0.687 7 |
| FHI_3DCNN | 0.725 4 | 0.422 0 | 0.365 9 |
| FHI_HCNN_DS | 0.921 6 | 0.740 7 | 0.727 1 |
| FHI_HCNN(本文) | 0.961 8 | 0.847 3 | 0.836 2 |
结论
本文针对不同传感器获取的多时相异源影像，利用先进的域迁移方法预处理数据，提出了一种联合混合CNN和相似性评估的异源影像无监督变化检测方法，提高了异源影像变化检测的自动化程度和变化检测结果的可靠性。
主要结论
- 在曙光和格洛斯特两个数据集上，PLS-PSA方法获取的PRI图中变化区域、未变化区域与参考变化图具有良好的一致性，结合样本筛选策略，PLS-PSA获取的伪标签样本数据能有效地驱动FHI_HCNN模型的训练。
- 与INLPG、IRG-McS、cGAN、CA-UCD和M_Unet等方法相比，本文提出的方法能够较好的均衡虚警像元和漏检像元，在两个数据集上均表现出稳定且良好的异源影像变化检测效能，具有最大的F1-Score和总体精度。
- 与本文提出的方法相比，消融方法FHI_3DCNN和FHI_HCNN_DS的F1-Score和Kappa系数在两个数据集上均有不同程度的降低，这表明消融模块在本文提出的方法中均发挥了重要作用。
本文方法通过样本数据的无监督选取，提高了异源影像变化检测的自动化程度；同时，与前述对比方法中最好的变化检测结果相比，本文方法在两个数据集上的平均F1-Score提高了2.54%，有效提高了变化检测结果的可靠性。
研究亮点
-
提出PLS-PSA方法，实现无监督样本选取，提高变化检测自动化程度
-
构建FHI_HCNN模型，融合2D-CNN和3D-CNN，有效提取时相-空间-频谱联合特征
-
充分利用异源影像互补特征，平均F1-Score提高2.54%