研究背景与挑战
随着空间分辨率的提高，遥感图像包含了大量复杂的空间特征与语义特征。现有方法主要关注特征融合改进，而忽略了空间语义特征的一致性，导致边缘分割不完整等问题。
传统方法在处理高分辨率遥感图像时，往往无法有效提取和融合多尺度特征，特别是在边缘信息的精确提取方面存在显著不足。
MDSNet模型架构
空间分支
- • 空间去冗余残差模块(SDCM)
- • 小波变换与坐标卷积
- • 垂直水平方向特征提取
- • 通道重新加权连接(CRC)
语义分支
- • 残差注意力Mamba(ResT-Mamba)
- • 全局语义特征提取
- • 局部上下文信息建模
- • 多尺度语义信息融合
特征聚合
- • 大内核分组特征提取模块
- • 多尺度卷积注意模块
- • 深度监督机制
- • 辅助监督头设计
核心技术创新
空间去冗余残差模块 (SDCM)
技术特点
- • 构建垂直与水平卷积核
- • 获取方向性特征信息
- • 引入小波变换保留细节
- • 坐标卷积增强空间感知
残差注意力Mamba (ResT-Mamba)
架构优势
- • 结合Transformer全局建模
- • Mamba局部特征细化
- • 残差连接保留细节
- • 多尺度语义信息整合
多尺度特征聚合机制
融合策略
- • 大内核分组特征提取
- • 选择性特征融合
- • 抑制无效特征激活
- • 深度监督机制优化
实验结果与性能评估
ISPRS Potsdam数据集
Vaihingen数据集
Vaihingen数据集不同网络模型分割结果对比
| 模型 | 不透表面IoU | 建筑物IoU | 低矮植被IoU | 树木IoU | 汽车IoU | mIoU |
|---|---|---|---|---|---|---|
| U-Net | 83.25 | 88.64 | 73.34 | 82.65 | 76.16 | 81.62 |
| CGGLNet | 84.35 | 91.75 | 74.72 | 84.55 | 79.09 | 83.49 |
| CMLFormer | 82.62 | 87.17 | 69.03 | 81.42 | 74.52 | 79.94 |
| MDSNet | 87.16 | 94.54 | 78.16 | 88.74 | 83.08 | 86.49 |
消融实验分析
小波变换有效性验证
小波变换在边缘特征提取方面表现出显著优势，能够有效突出图像局部细节
CRC模块效果对比
通道重新加权连接层有效平衡了语义与空间特征比例，提升边缘分割精度
各模块效果对比试验 (Vaihingen)
| 模块配置 | mIoU (%) | mF1 (%) | mRecall (%) | OA (%) | FLOPs (G) | 参数量 (M) |
|---|---|---|---|---|---|---|
| Baseline | 82.38 | 90.49 | 90.84 | 91.12 | 7.26 | 3.14 |
| + 深度监督 | 82.40 | 90.51 | 90.86 | 91.14 | 7.26 | 3.14 |
| + ResT-Mamba | 84.20 | 91.47 | 92.66 | 91.62 | 10.88 | 3.72 |
| + MCS-FFM | 84.33 | 91.65 | 91.60 | 92.00 | 7.37 | 3.29 |
| MDSNet (完整) | 86.49 | 92.68 | 93.19 | 92.87 | 11.26 | 4.01 |
技术优势与创新点
双分支特征提取
针对空间与语义特征分别设计专门的提取分支，充分利用高分辨率遥感图像的复杂特征信息。
小波变换增强
引入小波变换与坐标卷积，更好地保留图像细节信息，增强边缘特征提取能力。
深度监督机制
采用多层次辅助监督头，提高训练效率，避免梯度消失问题，增强模型收敛性。
智能特征融合
大内核分组特征提取模块实现选择性融合，抑制无效特征，激活有效特征。
研究结论与展望
MDSNet在ISPRS Potsdam和Vaihingen数据集上分别达到83.43%和86.49%的平均IoU，相比现有最优方法分别提升至少5.00%和3.00%，验证了多尺度深度监督机制的有效性。
双分支特征提取架构有效解决了传统方法忽略空间语义特征一致性的问题，显著提升了边缘分割精度和整体分割准确性。
ResT-Mamba模块成功结合了Transformer的全局建模能力和Mamba的局部特征提取优势，为遥感图像语义分割提供了新的技术路径。
应用前景
土地覆盖分析
精确识别和分类不同土地利用类型，支持城市规划和环境监测
环境监测
实时监测植被变化、水体污染等环境问题，为生态保护提供数据支撑
智慧城市
支持城市基础设施监测、交通规划和灾害应急响应等智慧城市应用