超分辨率技术在遥感领域的应用与挑战
超分辨率是一项底层图像处理任务,将低分辨率图像映射至高分辨率,以达到增强图像细节的作用。高分辨率图像在城市规划、灾害监测、环境保护等领域具有更高的实用价值。
但获取高分辨率的遥感图像通常成本较高,并且受到卫星设备的限制。超分辨率技术可以通过算法在后处理阶段提升图像分辨率,从而降低获取高分辨率图像的需求,节省成本和时间。
图像超分辨率技术在遥感领域应用十分广泛,经过长期的研究已经形成了多种算法。
技术演进从早期基于插值的方法、基于重构的方法、基于学习的方法,转向省时高效的方式预测低分辨率图像中缺失的高频信息。
遥感图像超分辨率方法大体上可以分为2种:① 传统信号滤波的方式; ② 利用图形计算平台训练神经网络的深度学习方式。
侧重于提升计算机视觉中图像的分辨率,特别关注单帧和多帧的超分辨率。尽管这种方法简单快捷,但在此过程中会破坏一些高频信息。滤波法在超分辨率难以捕捉图像中的空间信息。
随着人工智能的迅猛发展,硬件计算平台的显著提升,深度学习已经成为计算机视觉领域中解决问题的关键工具。它深刻影响了遥感技术的演进,尤其在土地覆盖制图、环境参数提取等方面发挥了重要作用。
基于条件控制扩散模型的创新方法
本文提出了一种基于扩散模型,以高分辨率图像作为控制条件,实现遥感图像超分辨率算法(Diffusion Super-Resolution,DSR)。
在网络输入设计部分,本文从高分辨率遥感图像中随机裁剪设定大小的图像块作为高分辨率样本,利用降采样得到对应的低分辨率图像,并通过线性插值将低分辨率图像放大到高分辨率尺寸。
将插值后的低分辨率图像作为条件与加噪后的图像拼接送入U-Net噪声预测网络,进行预测噪声的训练。
图1 DSR算法结构
图2 ResnetBlock与ConvNeXtBlock结构比较
噪声预测模型采用ResNetBlock与ConvNeXtBlock混合的U-Net网络结构。主要分为下采样模块,中间模块与上采样模块。
根据从低分辨率到高分辨率尺寸超分辨率的需要,在特征图尺寸大小为低分辨率时添加自注意力机制,用以将更高维度信息保留,提升模型预测噪声的能力。
使用ResNetBlock解决深度网络中的退化问题,允许网络在前期学习得到的知识顺利传输到网络后期。结合ConvNeXtBlock更好的适应不同尺度的特征。
图3 原始遥感图像逐步添加噪声过程
图4 从高斯噪声逐步去噪恢复图像的过程
L1损失函数
||x₀ - x̂₀||
对异常值不太敏感,提供稳健性
L2损失函数
(x₀ - x̂₀)²
对于数据的小偏差更敏感,提供精确性
SSIM指标
结构相似性
确保图像在结构上的保真度
组合损失函数:
Loss = (L1 + L2)/2 + SSIM/2
实验结果使用PSNR与SSIM指标对各组算法结果进行评估。PSNR是一种基于像素的度量,主要关注图像的数据保真度,而SSIM则关注图像的视觉感知质量,比如亮度、对比度和结构的相似性。
较高的PSNR值表明失真较少,反之,失真越多。针对灰度图像,PSNR计算公式如下:
PSNR(f, g) = 10log₁₀(255²/MSE(f, g))
用于测量两幅图像的相似性,能够更好反映人类视觉的感受。考虑了亮度、对比度和结构三个维度。
SSIM(x,y) = (2μₓμᵧ + C₁)(2σₓᵧ + C₂)/((μₓ² + μᵧ² + C₁)(σₓ² + σᵧ² + C₂))
算法性能验证与比较
本文采用国产的高分辨率遥感卫星图像作为数据,主要包括高景、高分2号(GF系列2)、高分7号(GF7系列)。
其中高景全色数据空间分辨率达到0.5 m,多光谱数据空间分辨率2 m。GF2号和GF7的全色图像分辨率为0.8 m,多光谱为3.2 m。
数据集 | 原始空间分辨率/m |
---|---|
GF2系列 | 0.7 |
GF7系列 | 0.6 |
Alsat-2B数据集 | 2.5 |
图5 4倍放大因子各算法SR重建效果对比
算法名称 | PSNR | SSIM |
---|---|---|
SRGAN | 23.67 | 0.594 |
Real-ESRGAN | 17.71 | 0.474 |
SwinIR | 17.92 | 0.602 |
DSR(Ours) | 24.48 | 0.717 |
在5,000张验证集上进行的实验表明,DSR算法的峰值信噪比PSNR达到24.48,结构相似性SSIM指数为0.717。实验结果证实,当将超分辨率处理后的图像作为条件输入至扩散模型时,DSR能展现出卓越的超分辨率性能。
有效增强在训练深度较大的模型时对特征的提取和学习能力,处理梯度消失问题
使模型能够聚焦于特定维度的数据分布,精准捕捉关键信息
在植被覆盖区和水体等特定地物类型上表现超过基于GAN和Transformer的算法
研究成果与未来方向
本文提出了一种基于去噪扩散概率模型的条件超分辨率模型,即深度空间重建(DSR)。该模型首先在遥感卫星影像上裁剪出设定大小的图像区域,然后利用线性插值方法将这些低分辨率图像放大至目标高分辨率尺寸。
设计阶段,采用线性加噪声策略来构建扩散模型,将经过插值放大的低分辨率图像作为控制条件输入网络。通过融合自注意力机制与残差连接,训练了一个能够预测噪声的网络,用于指导扩散过程。
在具体实施上,DSR在多光谱遥感图像数据集上的表现尤其突出,实现了从32像素×32像素到128像素×128像素4倍的超分辨率提升。
与传统对抗生成网络(GAN)图像超分辨率算法相比,DSR的实验结果显著更优,PSNR值达到24.48 dB,SSIM值为0.717。这不仅为遥感图像超分辨率领域提供了一种创新的解决方案,而且在4倍超分辨率任务中,DSR展现出较高的PSNR和SSIM指标,为遥感图像超分辨率研究开辟了新的方向。
提高扩散模型的推理速度,确保在不牺牲超分辨率图像质量的前提下,提升处理效率
调整残差连接,探索不同类型的注意力机制,增强网络对低频和高频特征的捕捉能力