随着硬件设备的快速发展,获取地理信息的方式也逐渐增多,三维点云由于其丰富的空间结构,在空间信息的表达上有着极其明显的优势。目前点云数据在诸多方面都有广泛的应用,例如,智能驾驶、高精地图、智慧城市等一系列领域。
最早的一些分割点云数据的方法,主要致力于人工特征描述,明显存在费时费力的缺陷。为了更加智能地对点云数据进行分割,借鉴图像领域的深度学习算法,将其引入点云分割领域中,目前已经取得了较为突出的成果。但是,由于点云数据本身的不规则性和复杂的结构特征,点云分割的准确性依然是一个巨大的挑战。
本文的技术路线图如图1所示,整体流程从原始数据到结果分析自上而下顺序执行,核心部分的融合颜色信息和多尺度几何特征的点云语义分割网络(CMGF-Net)如图2所示。
图1 融合颜色信息和多尺度几何特征的点云语义分割方法总技术路线
图2 融合颜色信息和多尺度几何特征的点云语义分割网络(CMGF-Net)
RPF主要是提取每个点与其邻域点相对位置的特征关系,如图3所示。
图3 局部邻域的相对位置特征提取模块示意图
LGP模块主要是融合每个点附近邻域点的自身几何属性信息,如图8所示。
图4 局部邻域的几何属性提取示意图
粗糙度 | C = Ωtruth/Ωpro |
高斯曲率 | K = k1∙k2 |
平均曲率 | H = (k1+k2)/2 |
垂直度 | V = (n∙nz)/||n||∙||nz|| |
全方差 | δ = ∛(r1∙r2∙r3) |
表面变化率 | S = r1/(r1+r2+r3) |
局部几何特征融合模块旨在将点云局部邻域的相对位置特征和几何属性信息相互融合,以提高点云分割的结果精度。
首先将相对位置特征Rrelative和几何属性信息GL经过多层感知器进行升维,得到相同维度的特征,接着将二者拼接起来得到Fc:
对拼接后的特征Fc使用多层感知器MLP,得到融合相对位置特征和几何属性信息后的新特征Fm,接着对Fm使用softmax进行计算,得到每个邻域点在每一维特征中的权重矩阵Fs:
将Fs与Fc的对应元素进行相乘操作,得到Fw,然后进行求和池化操作,最后使用多层感知器得到最终融合后的几何特征Fresult。
本文使用Semantic3D和SensatUrban两个大规模场景的3D数据集测试CMGF-Net的性能。
表1是本文网络与其他经典网络在Semantic3D数据集上的分割结果。
表1 Semantic3D数据集上各种方法的对比(%)
类别 | ShellNet | GACNet | KPConv | 本文方法 |
---|---|---|---|---|
人工地面 | 96.3 | 86.4 | 90.9 | 97.9 |
自然地面 | 90.4 | 77.7 | 82.2 | 93.1 |
建筑物 | 94.2 | 94.2 | 94.9 | 95.2 |
汽车 | 70.2 | 77.8 | 79.7 | 81.9 |
mIoU | 69.3 | 70.8 | 74.6 | 78.2 |
OA | 93.2 | 91.9 | 92.9 | 95.0 |
为了验证本文所提不同模块对网络的作用,本文使用Semantic3D数据集进行消融实验,结果如表2所示。
表2 Semantic3D数据集上的消融实验结果
模块 | mIoU(%) | OA(%) | 参数量(百万) | 收敛轮次(epoch) |
---|---|---|---|---|
KPConv | 74.6 | 92.9 | 14.9 | 400 |
KPConv + RPF | 77.3 | 94.8 | 15.2 | 330 |
KPConv + LGP | 77.5 | 94.8 | 15.2 | 310 |
本文方法 | 78.2 | 95.0 | 15.3 | 280 |
针对大规模点云几何信息及颜色信息利用不充分等问题,为了提升点云语义分割精度,本文提出一种融合颜色信息和多尺度几何特征的点云语义分割方法CMGF-Net。该网络充分利用点云的几何结构信息,引入了局部邻域的相对位置特征提取模块(RPF)和局部邻域的几何属性提取模块(LGP),再通过局部几何特征融合模块(LGF)将RPF和LGP相互融合。