研究背景

卫星视频可快速提供城市级车辆动态信息,为城市信息学、智慧城市、城市发展规划等提供可靠数据。然而当前星载视频背景中包含大量噪声与伪运动目标,运动车辆呈现为暗弱微小的斑点,使得准确检测出运动车辆非常困难。

主要挑战

  • 卫星拍摄位置高,成像范围广,背景包含大量复杂地物
  • 运动目标呈现为暗弱的小目标
  • 视频卫星凝视成像特性,造成帧间静止目标呈现运动状态(视差伪运动)

方法概述

道路掩膜构建

利用D-LinkNet网络提取道路掩膜,剔除背景中噪声与伪运动目标的干扰

车辆初步检测

利用前景检测算法(KNN)在道路掩膜约束区域内进行运动车辆初步检测

跟踪补偿检测

对因漏检而跟踪失败的运动车辆目标进行基于跟踪信息的区域精检测

算法流程图

技术细节

基于掩膜约束的初步检测

D-LinkNet网络

通过使用膨胀卷积层和跳跃连接方式增强网络中心部分特征点的感受野,编码器采用ResNet34,有效解决卷积过程中的图像特性信息丢失问题。

损失函数

采用二值交叉熵(BCE)结合DICE系数损失的方式,以提高模型训练的定性。

KNN运动目标检测算法

结合无参数概率密度估计与KNN分类思想,将背景分割算法融入机器学习来提高分类效果,相比传统分割算法鲁棒性更强,分割效果更好。

基于跟踪的补偿检测

SORT算法

利用IOU计算帧间目标相似度的方式进行帧间车辆关联,简单有效。

卡尔曼滤波

将运动车辆定义为一个具有位置和速度的向量,通过协方差矩阵从目标当前帧推测出下一帧状态。

匈牙利算法

对数据关联矩阵求解最优解,完成帧间运动车辆关联。

补偿检测流程

对于关联失败的预测目标,在预测位置开取一个边长为i的窗口进行多阈值的二值化车辆检测。第一次检测失败的车辆多表现为尺寸较小、颜色暗弱,通常仅占8~16个像素。

判别公式:

min√((x_t-x_i )^2+(y_t-y_i )^2 )

基于跟踪的补偿检测流程

试验与分析

试验数据

为验证本文方法有效性,选用两组六景数据进行试验:

  • 第一组数据为VISO数据集中4景吉林一号视频数据,成像区域为美国圣保罗与巴林穆哈拉格地区
  • 第二组为吉林一号视频03星于2017年5月3日获取的美国华雷斯地区RGB彩色视频数据

吉林一号视频卫星技术指标

卫星 发射时间 分辨率(m)
视频01、02星 2015-10-07 1.13
视频03星 2017-01-10 0.92

数据集重注

在4组VISO数据集视频数据中,标准框均只标注了对比度较高的明显目标,对于微弱暗小的移动车辆并未标注。本文对4组数据的标准检测框进行重注,新增2,120个运动车辆目标。

数据集重注新增目标

试验数据 帧数 新增目标
区域一 100 1,046
区域二 100 389
区域三 100 88
区域四 100 597
数据集重注对比

掩膜构建对比试验

基于运动信息累计

短时间内累计效果较差,未成功构建出道路掩膜

基于U-Net

仅在部分区域提取出较好道路掩膜,稳定性欠佳

基于D-LinkNet

在所有区域均提取出道路掩膜,满足检测需求

道路提取效果对比

车辆检测验证试验

方法名称 优点 不足
帧间差分法 算法简单 对光照敏感,存在双阴现象
混合高斯模型 低运算量 检测精度较差,检测目标不完整
ViBE 检测速度快,适应光照变化 存在鬼影现象
KNN 高检测精度,检测能力强 速度较慢

检测结果对比

TD、GMM以及ViBE受背景噪声干扰严重,在背景中检测出多处错误目标;MVDSV、DTSTC以及本文方法通过道路掩膜剔除了背景噪声。

本文方法优势:

  • 利用跟踪信息大大提升了对微弱目标的检测能力
  • 在所有试验中均获得了最高F值
  • 显著提升了星载视频运动车辆检测召回率
运动车辆检测结果对比
运动车辆检测评估对比(%)
方法 区域一 区域二 区域三 区域四
帧间差分 78.17 27.67 70.99 52.33
GMM 73.25 47.11 64.46 74.54
ViBE 76.21 31.42 56.06 55.29
本文方法 95.78 88.66 95.99 92.87

跟踪性能评估

为验证优化的检测方法对于跟踪的提升效果,在6个试验区域进行了跟踪测试。本文方法使得跟踪更为稳定,各小区域中跟踪目标ID切换次数减少。

跟踪性能提升:

  • 正确跟踪目标在各区域分别新增105.22%~178.26%
  • 多目标跟踪准确度均提升4%以上
  • 跟踪器身份维持能力提升2%以上
各区域运动车辆跟踪对比结果
各区域运动车跟踪性能评估结果
指标 小区域一 小区域二 小区域三
IDFN↓ 83→70 54→11 48→23
IDFP↓ 50→49 107→42 59→41
IDTP↑ 268→282 138→246 159→202
MOTA↑ 0.6459→0.6857 0.4281→0.8127 0.5789→0.7444

结论与讨论

检测性能提升

本文方法在多组试验区域中均保持了最高检测准确率水平,相比DTSTC提升2%~15%召回率,极大降低了星载视频运动车辆漏检率;F值在全部区域内均获得了最优值。

方法有效性验证

D-LinkNet掩膜使检测准确率在各区域中提升16.84%~78.49%;基于跟踪信息的着重检测方法使召回率提升5.64%~21.01%,证明了各步骤的有效性。

跟踪稳定性提升

本文方法对跟踪稳定性也有一定促进作用,在各区域中多目标跟踪准确度均提升4%以上,跟踪器身份维持能力提升2%以上。

未来研究方向

  • 考虑在跟踪阶段加入独立存在的单目标跟踪器,解决全遮挡目标的跟踪中断问题
  • 研究连通域分类的方式鉴别运动车辆、噪声以及伪运动目标,消除算法对道路掩膜的严重依赖
  • 扩展方法在非道路区域车辆检测的应用