机载激光扫描技术可以便捷、高效地采集大范围场景的高精度、高密度空间点云数据,且具备全天候、全天时的采集优势,已在地形测绘、城市建模、灾害监测等方面得到广泛应用。其中,建筑物轮廓线提取是建筑提取与城市三维模型构建的重要基础,基于机载点云准确、完整地提取建筑轮廓线特征,对后续数字孪生、智慧城市、智能交通等领域有着重要意义。
根据数据源的不同,当前建筑物轮廓线提取方法主要可分为3类:基于深度影像、不规则三角网以及点云数据的方法。基于深度影像的方法主要采用传统基于灰度梯度的二维影像边界提取算法,如Prewitt、Sobel等边界提取算法提取建筑物屋顶轮廓线,这类算法提取效率高,但由点云重采样为深度影像时会损失细节特征,提取精度较差,对人工干预的依赖性强。
近年来,基于深度学习的信息提取方法已成为研究热点,其高效精准的特点使其相较于传统方法有着更多的优势。目前,利用深度学习方法在二维平面图像的直线提取上已有成熟的发展,比如端点检测与直线分割并行的wireframe直线检测网络、综合卷积神经网络和线性回归算法的Line-CNN直线检测网络、利用三点定位的TP-LSD直线检测网络,基于生成对抗网络的GAN直线提取网络,都能快速、准确地提取出平面直线信息。
针对上述问题,本文提出一种基于彩色机载点云的建筑轮廓线深度学习提取方法:① 采用二维深度提取网络充分挖掘深度学习优势,避免了因三维深度学习中标定样本不足而无法提取的问题,高效、准确地提取场景中建筑物轮廓线特征;② 提出了一套综合修剪与补全操作的优化策略,通过融合高程与纹理信息,使提取的轮廓线特征具备完整和规则性特点,有利于大范围城市三维建模与地籍测量等相关应用。
本文算法首先采用形态学滤波器获得非地面点云数据,并将其投影至XOY平面,获取两张相同区域的高程栅格图像与可见光栅格图像;然后结合平面直线提取的深度学习网络提取建筑物轮廓线特征。
图1 算法流程
渐进形态学滤波方法通过多尺度策略,可识别、检测出不同尺寸的目标地物,尤其适用于存在低矮树木、尺度多样目标的城市区域。因此本文采用渐进形态学方法对机载点云数据滤波处理,得到滤除地面点和植被等地物的建筑物点云。
为获得机载点云的高程与可见光栅格图像,需要将滤波获得的建筑物点云投影到XOY平面,并将点云区域划分为规则格网,每个格网对应一个平面图像的像素点。每个像素点的特征值,反映了该像素所对应格网小区域中的高程或颜色加权信息,由落在对应格网中的点共同决定,即:离格网中心点越近、高程值越大的点在决定格网像素值时权重越大。
Line-CNN网络是端到端的平面图像直线段检测提取网络,在人工目标丰富的环境中有其独特的优势,可高效、准确地提取其直线段特征。并且,网络通过多次上、下采样,提升了对细节变化的敏感度,对于如建筑物边缘这类具有良好区分性的特征有着极佳的提取效果。
图2 采用Line-CNN网络的直线提取框架
由于生成的二维栅格图像中很多区域像素值相近,利用Line-CNN网络初步提取时直线易出现断裂、缺失等现象;而存在屋脊线或顶层建筑的建筑物,则会影响对建筑物外轮廓的判断与提取,进而产生冗余的内部线特征;上述因素还会影响线段的端点判断,产生非正交的线段特征。
本文提出了一整套融合修剪与补全操作的新颖轮廓线优化策略,优化算法主要包括2个模块:① 建筑物线特征的修剪优化:线段空间聚合、线段合并、内部线剔除;② 轮廓线特征的信息补全:线段方向调整、线段补全。
通过上述处理,可获取各建筑物完整、规则的二维轮廓线特征。根据保存的三维点云与二维像素间的映射关系,可进一步获取建筑物的三维轮廓线特征。但由于点云中的噪声、粗差值会影响三维轮廓线的平滑度和规则性,因此对提取的三维轮廓线采用移动最小二乘法平滑处理,进而提取规则、平滑的三维轮廓线,为后续高精度城市建模和数字孪生城市建设提供支撑数据。
为验证该算法对机载点云建筑物轮廓线提取的有效性,本文采用南京信息工程大学的机载点云数据以及ISPRS H3D 2019数据集进行测试与验证。实验采用Line-CNN神经网络,采用经过wireframes数据集训练8K次生成的模型对点云投影后生成的二维图像进行直线提取,并辅以优化操作,获得建筑物轮廓线提取结果。
图3 实验数据
采用渐进形态学滤波算法对两场景点云滤波处理后,提取点云数据中的建筑物目标,并将其投影至水平面,获取高程与可见光栅格图像。再将获得的栅格图像,利用经过训练的Line-CNN模型进行图像内直线段的初步提取。
图4 轮廓线初步提取结果
Line-CNN网络可以有效地提取图像中的直线信息,建筑物轮廓线信息基本齐全,能基本反映真实场景的建筑轮廓线情况。对比可见光栅格图像及高程栅格图像可发现,两者初步提取出的直线段各有侧重,高程图像中直线提取注重空间差异性,可提取出在可见光栅格图像中由于颜色区分度不大而被忽略的直线段;而可见光图像更贴合网络对特征的提取,能利用其比高程图像更加丰富的色彩信息,更好地提取图像中一些有细微弯折的特征。
高程图像及可见光图像在分别经过直线段初步提取、规则化后,均存在细节部分提取不准确、部分缺失的问题,而这些缺失部分的问题在进行提取结果求并集后,可以得到很好的解决。
图5 高程与可见光图像提取轮廓线合并情况
实验表明:对高程图像和可见光图像的提取直线优化合并,可实现两种数据的优势互补,获取更加完整、准确的建筑物轮廓线特征。
经过Line-CNN网络,利用深度学习方法可以初步提取出图像中的直线段信息,但需要进行规则化处理。规则化操作使得线段之间有所区分,能很好地展现出不同的建筑物,便于后续获得三维空间中的建筑物屋顶轮廓线。
优化处理之后,可以获得符合现实情况的完整建筑物外轮廓线特征。提取出的直线段能很好地贴合建筑物,能够正确地展现建筑物的整体形态和细节。
图6 建筑物轮廓线提取结果
为进一步验证本文算法提取的准确性,将其与地面真值、改良Alpha-shape方法建筑轮廓线提取结果以及GAN算法建筑轮廓线提取结果进行对比分析。
表1 建筑物轮廓提取情况对比
方法 | 完整度/% | 准确度/% | 面积完整度/% |
---|---|---|---|
改良Alpha-shape算法 | 89.63 | 87.43 | 90.71 |
GAN算法 | 98.32 | 92.84 | 98.64 |
本文方法 | 96.48 | 93.33 | 95.39 |
表2 建筑物轮廓提取面积误差
方法 | 精确度/% | 召回率/% |
---|---|---|
改良Alpha-shape算法 | 91.52 | 89.92 |
GAN算法 | 95.81 | 96.97 |
本文方法 | 96.22 | 95.26 |
利用本文方法3种场景中所有建筑外轮廓线都能较好地被提取,复杂情况下,轮廓线提取的完整度及准确度也都高于90%,能正确地反映建筑物特点,具有较高的稳健性。提取出的错误面积极小,提取区域正确率较高。相对于改良Alpha-shape方法,本文方法提取建筑物轮廓线的准确度、精确度及提取效率都有了不小的提升。与GAN算法相比,本文方法尽管提取结果的完整度稍有不足,但在准确性方面表现出更高水平,并且轮廓线提取效率更高。
将提取出的建筑物外轮廓线段,赋予高程信息,经过映射投影到三维点云上,便可获得目标机载三维点云的建筑物轮廓线信息。
图7 建筑物轮廓线提取在三维点云中的展示
利用该轮廓线信息,可以进一步进行初步建模,获得建筑物粗略模型,为后续的精细建模打下基础。
本文基于彩色机载点云数据,选取南京信息工程大学的机载点云数据以及ISPRS H3D 2019数据集作为测试场景,提出了一种采用Line-CNN平面直线提取网络的机载点云建筑屋顶轮廓线提取方法,旨在探求一种同时具有高效性与准确性的建筑物轮廓线提取方法。
通过将滤波后的点云数据投影至水平面,获得反映建筑物空间信息的高程图像与反映纹理信息的可见光栅格图像;然后采用Line-CNN网络,利用深度学习方法初步获得图像中直线段特征;最后,提出一套新颖的优化策略,结合高程和可见光图像中蕴含的信息,获取完整、规则的三维建筑轮廓线特征。
本文提出了一种准确有效的建筑物轮廓线提取方法,但其方法仍有一定局限性。首先,本文方法难以处理存在非正交屋顶轮廓线的建筑物,这可能导致无法完整提取建筑物轮廓线信息,进而导致提取结果与真值存在较大误差。在规则化过程中,对初步提取的线段简单正交化处理会导致建筑物细节信息丢失,使得在某些情况下,轮廓线提取的准确度和完整度会存在不足。
此外,本文方法将三维点云投影至二维平面,并采用二维提直线深度学习方法进行轮廓线提取。虽然这种方法在效率方面存在明显优势,但是在投影过程中会存在细节信息的丢失,可能导致轮廓线提取准确性的降低,使得本文方法难以满足某些高精度复杂场景的需求。
未来研究方向: