近年来,随着移动通信、大数据、物联网、人工智能、数字孪生、自动驾驶等新兴技术的不断发展和快速迭代,地理信息系统(Geographic Information System,GIS)应用的深度和广度在不断拓展,新型智慧城市成为GIS应用领域的重要前沿方向[1-2]。
数字孪生城市是支撑新型智慧城市建设的复杂综合技术体系,是物理维度上的实体城市与信息维度上的虚拟城市同生共存、虚实交融的城市未来发展形态[3],与"元宇宙"的概念存在高度相关性[4]。面向数字孪生城市的智能化全息测绘离不开基于城市感知设施(Urban Sensing Facility)的全域感知,城市感知设施交互控制则是实现数字孪生城市虚实一体、信物融合的一项关键技术。
城市感知设施是城市基础设施的重要组成部分,是指具有动态感知能力的物理的或虚拟的设备,能够感知内部信息与包括人、物和环境在内的外界信息并对其进行处理、传输、存储和显示。根据复合类型,城市感知设施可分为2类:
数字孪生城市建设的目标是创造一个人、机、物三元融合的数字孪生城市空间,不仅要求实现城市感知设施的实时数据接入,以表达现实世界的事件与动态过程,还要求实现设施的交互控制,从而远程控制设施以执行特定任务,达到"运筹于帷幄之中"。
目前与城市感知设施交互控制相关的研究主要集中在物联网(Internet of Things,IoT)、虚拟/增强现实(Virtual Reality or Augmented Reality,VR/AR)和GIS3个领域:
相关研究以基于直接通信指令的城市感知设施交互控制为主,经过用户端信号发送、信道传输、设施端信号接收和响应等过程,控制设施产生相应动作,或者通过传播链或传播网(如传感网)将信号传递至其他设施并引起其他设施产生行为[6]。
从三元融合的角度看,物联网中的设施交互控制本质上以单纯研究"人"与"物"二者之间的交互为主,这种可称为基于直接通信指令的交互控制过程无法在计算机构建的数字世界中进行信息化表达,因此难以直接应用到GIS中。
相关研究集中体现在实时数据建模与接入方面,典型研究是通过时态GIS数据模型对感知设施产生的动态数据进行建模,然后接入实时数据并驱动场景更新或深入分析挖掘,从而在GIS中反映客观世界的实时变化,其中具有代表性的数据模型是实时GIS数据模型[7],具有代表性的产品是ArcGIS GeoEvent[8]。
总体来看,相关研究以设施实时数据的正向接入为主,缺乏反向的设施交互控制研究,因而同样无法在GIS构建的数字世界中有效地描述和表达设施控制过程。
相关研究集中于在计算机等显示设备中构建三维沉浸式虚拟人机交互场景,通过在现实世界中触发控制指令来控制虚拟场景中的设施对象产生动作,相关研究侧重于提升用户沉浸式交互的易感受性和交互效率,同样缺乏对通过虚拟场景反向控制现实世界的感知设施的深入研究。
为了实现数字孪生城市中人、机、物三元融合的感知设施交互控制,一种可行思路是将物联网中人对物的直接的物理控制过程映射到GIS中。具体地:
GIS数据建模是将现实世界中的事物或现象在数字世界进行描述和表达的有效途径。在实景三维中国建设背景下,以实体为基本单元的面向对象时空数据模型已成为GIS数据模型研究的重要发展趋势[9]。
作为全空间信息系统的核心数据模型,多粒度时空对象数据模型是一种完全基于实体的面向对象时空数据模型,以多粒度时空实体统一抽象和概括具有多尺度特征的时空实体,然后从时空参照、空间位置、属性特征、关联关系、空间形态、组成结构、行为能力、认知能力8个方面,将多粒度时空实体在计算机构建的数字世界中统一描述为多粒度时空对象,且多粒度时空对象与现实世界中的多粒度时空实体一一对应[14-15]。
在城市感知设施对象化建模基础上,为了将基于指令的城市感知设施的交互控制过程映射到GIS构建的数字世界中,转化为设施时空对象的行为调用与执行过程,需要研究设施时空对象的行为能力建模方法。
行为在不同研究领域具有不同的内涵。在多粒度时空对象数据模型中,将行为定义为时空对象所具有的引起自身或其他对象发生变化的能力,狭义的行为本质上是一种物理的动作,且只要能引起变化的时空对象都具有行为能力;行为可用于描述对象间相互控制与响应,也是体现全空间信息系统"活"的特征的关键所在[18]。
目前IoT在GIS中的应用主要体现在在GIS中接入实时感知数据并进行可视化,以实现对现实世界的动态过程和事件进行模拟,但是通过GIS对城市感知设施进行统一控制以远程执行特定任务的研究相对匮乏。
根据图1所示的行为能力建模流程和图2所示的对应关系,基于GIS的城市感知设施交互控制主要包含以下几方面内容:
这一阶段的交互控制的主体是用户,客体是计算机所构建的虚拟可视化场景。当用户与可视化场景中的设施时空对象产生交互时,将触发产生交互信号。在对信号类型进行解译后,根据其中的对象标识即可快速定位待操作的目标对象,并确定对应的对象行为,然后调用相应的行为组件。
这一阶段的交互主体是可视化场景,客体是现实世界。控制信号在现实世界中被转发后,可以由一个专门的控制端接收并处理,通过该控制端解译出信号中的对象标识、行为参数等信息,并按照接入型和控制型进行划分。
为验证本文提出的城市感知设施行为能力建模方法和虚实联动交互控制方法的有效性与可行性,选用多种城市感知设施进行实验。
实验环境以及实验过程中产生的实时数据如表1所示。
环境类别 | 环境名称 | 数量/个 | 详细配置 | 设施实时数据 |
---|---|---|---|---|
硬件环境 | 计算机 | 3 | Thinkpad T460,AMD四核CPU,8G内存,512G SSD | - |
无人机(MavLink) | 1 | DJI Air2S,一英寸相机5.4K超高清视频 | GPS轨迹数据 | |
无人车(GPS) | 2 | YahBoom STM32 | GPS轨迹数据 | |
摄像头(Ethernet、Wi-Fi) | 2 | 浙江大华DH-IPC-HDBW2433R-ZS、海康威视HIKVISION T12H-IA2.8MM | 实时视频流 | |
温度传感器(Wi-Fi) | 2 | Vadias WZP-PT100 | 温度数据 | |
湿度传感器(Wi-Fi) | 2 | RicherLink | 湿度数据 | |
姿态传感器(串口RS485) | 2 | DCS306M | 姿态数据 | |
设施模拟器(Socket) | 50 | C++应用程序 | GPS轨迹、温度数据、湿度数据 | |
软件环境 | 操作系统 | 4 | Windows10 | - |
集成开发环境 | - | Visual Studio2010;Qt4.8.6;VBF | - | |
其他工具 | - | 全空间信息系统建模工具Designer和Creator | - |
实验采用如图4所示流程,包括以下几个步骤:
城市感知设施对象化建模主要基于全空间信息系统中提供的交互式建模工具Designer和Creator实现。
行为能力建模是本文开展设施时空对象建模相比现有相关研究的特色,能够对设施的动态行为信息进行描述与表达。
为了基于设施时空对象的行为来驱动现实世界中的设施实物进行实时感知或执行动作,需要设计相应的控制信号的数据结构。
在上述步骤基础上,可以实现对多种感知设施的虚实联动交互控制,实现效果如图10所示。
基于本文所提出的城市感知设施对象化建模方法,有效实现了对多种感知设施的对象化建模,生成了相应的感知设施时空对象,证明了所提出的对象化建模方法的有效性。本文所提出的城市感知设施行为能力建模方法能够有效支持城市感知设施的行为能力建模,支持通过行为组件来对设施时空对象的行为进行实现。本文所提出的交互控制方法既支持通过用户调用设施时空对象行为而引起实时数据接入和设施动作执行,也支持智能设施因外界感知目标变化而触发的自身行为调用。
针对数字孪生城市建设中多源、异构、海量的城市感知设施的虚实联动交互控制这一科学问题,面对物联网、VR/AR以及GIS3个领域中相关研究的缺失或不足,提出一种时空对象行为驱动的城市感知设施交互控制方法。
与现有相关方法相比,本文所提出的方法具有以下特色和优势:
本文的重点是提出了一种城市感知设施交互控制方法,受时间和精力限制,还存在以下问题与不足: