1. 引言

随着硬件设备的快速发展,获取地理信息的方式也逐渐增多,三维点云由于其丰富的空间结构,在空间信息的表达上有着极其明显的优势。目前点云数据在诸多方面都有广泛的应用,例如,智能驾驶、高精地图、智慧城市等一系列领域。

最早的一些分割点云数据的方法,主要致力于人工特征描述,明显存在费时费力的缺陷。为了更加智能地对点云数据进行分割,借鉴图像领域的深度学习算法,将其引入点云分割领域中,目前已经取得了较为突出的成果。但是,由于点云数据本身的不规则性和复杂的结构特征,点云分割的准确性依然是一个巨大的挑战。

研究挑战

  • 点云数据的不规则性和复杂几何结构特征
  • 大规模点云几何信息及颜色信息利用不充分
  • 现有方法对局部特征提取不足
  • 不同地物尺度变化大带来的分割困难

2. 研究方法

2.1 融合颜色信息和多尺度几何特征的点云语义分割网络

本文的技术路线图如图1所示,整体流程从原始数据到结果分析自上而下顺序执行,核心部分的融合颜色信息和多尺度几何特征的点云语义分割网络(CMGF-Net)如图2所示。

图1 融合颜色信息和多尺度几何特征的点云语义分割方法总技术路线

图1 融合颜色信息和多尺度几何特征的点云语义分割方法总技术路线

图2 融合颜色信息和多尺度几何特征的点云语义分割网络(CMGF-Net)

图2 融合颜色信息和多尺度几何特征的点云语义分割网络(CMGF-Net)

2.2 局部邻域的相对位置特征提取

RPF主要是提取每个点与其邻域点相对位置的特征关系,如图3所示。

图3 局部邻域的相对位置特征提取模块示意图

图3 局部邻域的相对位置特征提取模块示意图

2.3 局部邻域的几何属性提取

LGP模块主要是融合每个点附近邻域点的自身几何属性信息,如图8所示。

图4 局部邻域的几何属性提取示意图

图4 局部邻域的几何属性提取示意图

几何属性计算公式

粗糙度 C = Ωtruthpro
高斯曲率 K = k1∙k2
平均曲率 H = (k1+k2)/2
垂直度 V = (n∙nz)/||n||∙||nz||
全方差 δ = ∛(r1∙r2∙r3)
表面变化率 S = r1/(r1+r2+r3)

2.4 局部几何特征融合

局部几何特征融合模块旨在将点云局部邻域的相对位置特征和几何属性信息相互融合,以提高点云分割的结果精度。

首先将相对位置特征Rrelative和几何属性信息GL经过多层感知器进行升维,得到相同维度的特征,接着将二者拼接起来得到Fc

Fc = Concat(MLP1(Rrelative), MLP2(GL))

对拼接后的特征Fc使用多层感知器MLP,得到融合相对位置特征和几何属性信息后的新特征Fm,接着对Fm使用softmax进行计算,得到每个邻域点在每一维特征中的权重矩阵Fs

Fs = softmax(MLP(Fc))

将Fs与Fc的对应元素进行相乘操作,得到Fw,然后进行求和池化操作,最后使用多层感知器得到最终融合后的几何特征Fresult

3. 实验及结果分析

3.1 实验设计

本文使用Semantic3D和SensatUrban两个大规模场景的3D数据集测试CMGF-Net的性能。

数据集信息

  • Semantic3D:大型户外自然场景3D点云数据集,包含超过40亿个标记点,8个语义类别
  • SensatUrban:城市尺度摄影测量点云数据集,包含近30亿个点,13个语义类别

评估指标

OA
总体准确率
(TP+TN)/(TP+FP+FN+TN)
IoU
交并比
TP/(TP+FP+FN)
mIoU
平均交并比
1/M ∑ TPk/(TPk+FPk+FNk)

3.2 实验结果分析

表1是本文网络与其他经典网络在Semantic3D数据集上的分割结果。

表1 Semantic3D数据集上各种方法的对比(%)

类别 ShellNet GACNet KPConv 本文方法
人工地面 96.3 86.4 90.9 97.9
自然地面 90.4 77.7 82.2 93.1
建筑物 94.2 94.2 94.9 95.2
汽车 70.2 77.8 79.7 81.9
mIoU 69.3 70.8 74.6 78.2
OA 93.2 91.9 92.9 95.0

3.3 消融实验

为了验证本文所提不同模块对网络的作用,本文使用Semantic3D数据集进行消融实验,结果如表2所示。

表2 Semantic3D数据集上的消融实验结果

模块 mIoU(%) OA(%) 参数量(百万) 收敛轮次(epoch)
KPConv 74.6 92.9 14.9 400
KPConv + RPF 77.3 94.8 15.2 330
KPConv + LGP 77.5 94.8 15.2 310
本文方法 78.2 95.0 15.3 280

实验结论

  • RPF模块通过学习点云局部邻域之间的相对距离关系和法向量之间的相对关系,显著提升了网络性能
  • LGP模块使网络充分学习到不同地物之间的几何属性信息差异
  • 本文完整方法在mIoU和OA指标上均达到最优,同时收敛速度更快

4. 结论

针对大规模点云几何信息及颜色信息利用不充分等问题,为了提升点云语义分割精度,本文提出一种融合颜色信息和多尺度几何特征的点云语义分割方法CMGF-Net。该网络充分利用点云的几何结构信息,引入了局部邻域的相对位置特征提取模块(RPF)和局部邻域的几何属性提取模块(LGP),再通过局部几何特征融合模块(LGF)将RPF和LGP相互融合。

主要贡献

  • 在CMGF-Net中引入RPF,通过学习点云局部邻域之间的相对距离关系和法向量之间的相对关系,提升了网络学习几何特征的能力
  • CMGF-Net中的LGP模块,使网络充分学习到不同地物之间的几何属性信息差异
  • 在网络设计中,不同尺度的网络层中都会进行几何特征的提取,并与同一尺度下基于颜色信息提取的语义特征进行融合,提升网络学习多尺度特征的能力

Semantic3D数据集

  • mIoU: 78.2% (比KPConv提高3.6%)
  • OA: 95.0% (比KPConv提高2.1%)

SensatUrban数据集

  • mIoU: 59.2%
  • OA: 93.7%

未来工作

  • 采用Transformer结构替代现有卷积操作
  • 调整网络架构以减少参数量
  • 尝试融合更多属性信息以验证效果