多分支双任务的多模态遥感影像道路提取方法

引言

道路作为交通运输设施的主干结构与核心枢纽，快速准确地提取在地图更新、车辆导航、城市规划和灾害救援等领域均具有重要作用。道路提取是指将影像的每个像素分为道路和非道路（背景），受益于系列卷积神经网络在语义分割领域的发展进步、光学影像的直观性和其数据集的丰富性等客观现状，当前道路自动解译研究主要集中于光学影像驱动的深度学习法。

光学影像以地物反射可见光波段内的电磁波能量为依据，可视化地物的表层信息，具有空间分辨率高、光谱和纹理信息丰富等优点。但由于光学影像的获取方法是一种被动式手段，能量来源主要是太阳辐射，故光学影像的成像质量往往受天气影响较大。此外，因成像角度等因素的影响，投影误差、阴影特征等均会造成道路表面的属性特征与真实标签存在出入，为道路提取带来错误的信息引导。

图1 光学影像局限性示例

SAR作为主动式成像，具备全天时全天候的数据获取能力，并能从侧视角度提供地物目标的散射和几何特征，但存在斑块噪声以及语义难解释等问题。总体来说，得益于应用需求的持续推进，体系化、多样化和成熟化的遥感数据获取系统不断涌现，遥感数据在电磁波谱的描述颗粒度和适应区间均取得重大突破。获取同一地区的多模态遥感影像更加容易，可以为地物解译提供更加多样的互补信息，如光学影像的光谱信息和SAR影像的散射信息等。

理论与方法

本文提出了一种多分支双任务的道路提取方法，技术路线如图2所示（"E"和"D"分别对应编码层和解码层），主要包含3个模块：

特征提取模块

该模块主要通过编码层（E-Opt和E-SAR）和解码层（D-Opt和D-SAR）各自独立地从光学影像和SAR影像中进行特征提取，其输入数据是光学影像和SAR影像，监督数据均为道路表面分割结果。

特征融合模块

该模块借助设计的CA-SSA将2种模态数据的解码特征进行融合，其中融合分支由此衍生，相关监督数据是道路表面分割结果。

边缘支撑模块

该模块属于SAR影像的辅助分支，从E-SAR中获得边缘特征并传递至D-SAR，其监督数据是由道路表面分割结果生成的道路边缘。

图2 多任务双分支道路提取技术路线

CA-SSA结构

光学影像和SAR影像的属性影响因素存在明显差异，2种影像具有一定的互补优势，但直接将2种数据通过通道叠加或属性相加往往会造成冗余特征的堆叠以及优势特征的丢失。因此，本文从通道和空间2个维度引入注意力机制，并结合道路形状规律在空间注意力机制中构建条状卷积空间，最终形成CA-SSA。

图3 CA-SSA结构

实验与分析

3.1 实验设计

实验数据：Dongying数据集包括光学影像、SAR影像和地物分类的标签数据。本文选用的实验数据影像大小为256像素×256像素，预处理后的影像空间分辨率为1m。其中光学影像为GF-2号，包含RGB 3个通道，SAR影像是GF-3号的VV极化数据。

实验细节：实验环境核心硬件配置为2块NVIDIA Tesla V100显卡，显存共64G。网络训练选择Adam为优化器，学习率初始设置为2e-4，每当损失值连续3次高于当前最优损失值时，学习率降低5倍，训练的数据块大小为32，迭代epoch值为100。

评价指标：为确保定量评价的全面性和综合性，本文从2个层面共选用7项评价指标进行道路提取结果的精度对比。2个层面分别为：①像素级评价指标：正确率（P），召回率（R），F1分数，总体精度（OA）和交并比（IoU）；②连通性评价指标：完整率（Com）和错误率（Eor）。

3.2.1 超参数实验

本部分实验将对损失函数中涉及的超参数α设计的合理性进行实验验证，该系数主要是衡量主任务和辅任务之间的权重关系。

图4 超参数实验精度分析

由图7可知，随着系数的增加，各项精度指标均呈现先提升后下降的趋势（Eor除去，该指标的数值越大表示提取效果越差），进一步证明本文考虑的正确性和参数选择的合理性。

3.2.2 方法对比实验

本部分实验主要利用选用数据集将所提方法与现有的经典和先进方法进行对比。对比方法共11种，其中单模态方法7种，多模态方法4种。

表1 不同方法道路提取结果精度对比

方法类型	方法名称	P (%)	R (%)	F1 (%)	IoU (%)
单模态方法-Opt	UNet	92.38	81.59	86.65	76.44
	ASPP-UNet	91.29	84.25	87.63	77.98
	DeepLabv3+	94.42	85.05	89.49	80.98
	D-LinkNet	94.78	86.14	90.25	82.23
	SGCN	94.08	87.18	90.50	82.64
	DT-Net	96.13	89.25	92.56	86.15
	MANet	97.42	90.18	93.66	88.07
多模态方法	MCANet	96.83	89.72	93.14	87.16
	DDHRNet	96.22	86.83	91.29	83.97
	JoiTriNet_e	96.02	90.31	93.08	87.05
	JoiTriNet_d	96.27	89.60	92.81	86.59
本文方法	-	97.89	90.86	94.24	89.11

通过对比精度指标可以得到如下结论：①对于单模态条件，若光学影像质量正常，则提取效果无论是像素级还是连通性评价指标均高于SAR影像；②单模态方法中，DT-Net和MANet精度较高；③多模态方法中除DDHRNet外，其他对比方法的道路提取精度均处于前列；④本文方法的5项像素级评价指标均最佳。

3.2.3 消融实验

本部分实验主要针对本文构建的多分支双任务网络架构，以及设计的CA-SSA模块进行有效性验证。

表2 消融实验精度统计

情形	多分支	CA-SSA	边缘检测任务	IoU (%)
情形1	×	×	×	81.14
情形2	√	×	×	87.82
情形3	√	√	×	88.57
情形4	√	√	√	89.11

通过表4中情形1和情形2的对比可以看到多分支网络架构可以全面提升各项精度指标；对比情形2和情形3可以发现，引入"CA-SSA"模块对道路提取起到正向的推动作用；对比情形3和情形4可以看到，边缘检测任务的引入，全面提升了各项精度指标。

3.2.4 云雾条件下的道路提取对比实验

光学影像依靠可见光电磁波的反射进行成像，影像质量受天气影响较大，故利用云雾条件下的影像数据进行实验对比。

图9 云雾条件下各方法IoU下降程度统计

通过对比可以得到如下结论：①在受云雾影响时，所有方法的提取精度均呈现下降趋势；②除Eor外，本文方法的各项精度指标均优于对比方法，证明了本文方法的稳定性；③单模态方法的IoU下降更加明显，说明多模态方法可以在更大程度上降低对影像质量的要求。

结论

为充分联合光学影像和SAR影像的互补信息，并匹配道路对象的客观规律，本文提出了一种多分支双任务的道路提取方法。主要的工作如下：

依托通道-条状空间注意力机制实现光学影像和SAR影像的特征级融合，利用条状的特征捕获空间建立更加稳定的关联映射，并基于此形成多分支联合的解译框架。
针对道路边缘区域解译颗粒度粗糙的问题，借助SAR影像穿透能力强的特点，利用道路表面分割标签生成道路边缘标签，并由此衍生SAR影像分支的辅助任务，协同提升道路提取精度。
在实验部分，针对关键参数设计超参数实验，选取典型和先进的单/多模态方法进行对比实验，依据核心模块和影像数量展开消融实验，围绕数据质量实施对比实验，全面证明了本文方法的有效性和稳定性。

本文方法充分考虑了光学影像和SAR影像的结构特点，立足特征级融合策略和多分支训练范式，构建了多角度多层次的优势信息融合机制；针对道路边缘精准解译等技术难点，联合道路的结构分布和拓扑规律，搭建了双任务框架并形成了相匹配的特征覆盖空间。但是，本文仅仅从理论层面对多模态数据的道路提取技术进行研究，在实际应用中面对某一模态数据的缺失如何处理，即跨模态数据的道路提取是下一步要解决的问题。

* 以上内容由AI自动生成，内容仅供参考。对于因使用本网站以上内容产生的相关后果，本网站不承担任何商业和法律责任。