航空航天

01

项目简介

 

在特定环境下,远程操控系统加入力觉反馈能够使操作者感受到真实的操纵感觉,实现力觉临场感,实时把握被控对象运动状态,及时对控制指令做出相应的调整,保证被控对象在远程操控下准确可靠运行,很大程度上能够降低人员操作失误率,增加操作者操控的安全性,因此对基于力反馈的航空航天远程操控系统的研究具有十分重要的现实意义。

 

通过仿真分析验证控制方法的有效性,保证转向系统力反馈的准确性,为操作者提供可靠的路感信息,同时对数据通信、位置跟踪等模块进行功能测试,验证各模块程序设计的合理性,保证数据通信、位置跟踪、数据显示的准确性,实现远程操控系统软硬件的协调与统一,最终实现系统准确的力觉反馈,增强对远程机械臂控制的有效性,满足基于力反馈的远程操控系统的既定要求。


02

三维全景仿真验证系统


Hysim和远科技为中国航天科技集团某所建设一套三维全景仿真验证系统。系统分为多维度状态输入设备、远端视觉输入设备定位系统,以及三维全景仿真验证调度软件三个子系统。

1.1.1 多维度状态输入设备

根据三维全景仿真验证调度软件平台的规划,多维度状态输入设备需要支持如下三种应用模式:

1.远程操控:在现实环境中实时控制一个远端指令生成设备(机械手臂+手爪)对实物进行操作,同时感受远端指令生成设备和环境的接触力。

2.基于虚拟现实的培训:在虚拟现实环境中实时仿真和控制虚拟的远端指令生成设备对虚拟物体进行操作。

3.基于混合现实的培训:在现实环境中实时控制一个远端指令生成设备对虚拟物体进行操作,同时感受远端指令生成设备和虚拟物体的接触

图1  多维度状态输入设备

                           

  •   远程操控模式系统架构

针对远程操控应用模式,多维力反馈设备与远端指令生成设备连接的系统架构如下图所示:

图2  远程操控应用模式系统架构

在这种模式下,我们提供一个控制电脑,上面运行通过力反馈手控器开发接口软件开发的实时控制应用程序,应用程序允许用户使用多维状态输入设备,通过以太网络控制一个远端指令生成设备。

 

  • 虚拟现实模式系统架构

针对虚拟现实应用模式,多维力反馈设备与远端指令生成设备连接的系统架构如下图所示:

图3  虚拟现实模式应用架构

为支持此种应用,需要基于力反馈手控器开发接口软件开发配置建立一套虚拟场景。力反馈手控器开发接口软件包括和设备通讯和操作虚拟场景开发虚拟场景开发插件。

图4  基于虚拟现实应用模式的拓扑结构

 

  • 混合现实模式系统架构

混合现实模式介于远程控制和虚拟现实模式之间,硬件部分架构类似于远程控制,多维状态输入设备通过控制主机与远端指令生成设备连接;同时,也生成被操作物体及环境的虚拟场景,通过三维全景仿真调度软件协调、同步远端机械手臂与虚拟物体之间的位置及物理关系,并将混合现实的图像生成在操作人员的头盔中。

混合仿真应用模式,应用混合现实虚拟仿真技术,结合实物仿真与虚拟仿真的优点特性,通过操控实物机械手臂,对虚拟的实验目标进行运动干涉,依托物理仿真数据模拟真实的力反馈,使实验室具备极大的实验任务兼容性,并降低了实验成本、减少实验时间。

图5  混合现实模式应用场景示意

 

1.1.2 远端视觉输入设备定位系统:

顾名思义,远端目标操作机械臂需要实现远端目标操作的作用,自由度不小于7,同时负责对远端力觉信息的重现。同时整机的结构能在不同操作间安装和移动。

根据整体系统的柔性要求,为本项目选用协作机器人知名品牌。要求的协作机器人需要在领域内占有率较高,包括机器人本体,机器人控制屏,机器人控制柜以及专用机器人系统软件。系统软件需具有开放性开发环境,丰富脚本指令和图形化编程功能,开放的以太网接口。从协作机器人市场情况来看,为本项目选用优傲机器人-UR10e,其市场占有率保持70%以上的协作机器人市场份额。

图6  机械臂运行状态

 

  • 远端目标操作设备总体特点:

1.    性能可靠:协作机器人国际品牌,具有相当规模的市场保有量,质量可靠

2.    协作性与安全性: 人机协作机器人,在通常使用模式下不需要增加安全围栏。

3.    安装快速:可以快速的进行机械安装和相关设置。

4.    编程简单:需要有直观的3D视图,编程容易。

5.    部署灵活:可以根据需求,快速的将机器人移位并重新布置。

6.    综合使用成本低:耗电低,使用简单,维护简单。  

 

 图7 远端目标操作设备


1.1.3 三维全景仿真验证调度软件

三维全景仿真验证系统调度软件分为:设备调度模块,计算资源调度模块,外部数据处理模块,数据对接模块,演示和仿真控制模块。各功能及信息流如图所示。

图8  三维全景仿真验证系统调度软件信息流

 

  • 演示和仿真控制模块

负责整个系统的总控,包括对输入输出设备的选择、设备加断电、状态监控、紧急系统断电,支持多用户登录,支持多人协调操作、视觉共享、多终端视觉输出。

在实验开始前,获取遥操作手控器的状态信息、显示设备信息,对状态进行健康状态判读;实验中对数据、视频进行显示、记录,紧急情况下具备干预能力;实验完成后实现数据、视频回放,能控制回放速度;实验开始和结束时发送实验启动、结束指令。

具备同时驱动多个头盔三维显示终端的能力,实现各终端能自主切换视角,选择远端不同的三维相机,或切换到三维虚拟环境内,自主漫游;能选择远端音频输入设备拾取音频信息。

为使实验状态数据直观、便捷显示,可采用多台显示器对软件界面进行显示。

  • 外部数据处理模块

用于处理接入三维场景中的数据,包括操作对象状态,提取像仿真所需数据,对数据的采样频率进行匹配,形成固定标准格式,以适应不同数据来源,方便图像仿真。

  • 计算资源调度模块

进行像仿真资源调配,并实现流畅、高效的像仿真。用于进行计算资源配置,负责数据计算单元和形计算单元间的协同调度。根据视角及位置,对视景进行计算并显示在相应的输出设备上。

  • 三维仿真场景构建模块

a)虚拟三维模型

空间环境:建立空间三维背景,利用相关数据建立空间环境,根据时间、环境数据,显示空间环境;

仿真对象:能读取商用软件建立的操作对象三维模型,在上述三维模型中显示。本软件建立一套默认三维模型。

建立的虚拟三维模型具备亮度、色彩可调,显示效果好。

b)敏感器三维重构

利用三维建模敏感器(如激光敏感器)获取的三维数据信息,构建三维模型,三维模型具有色差,在平面显示时像具有层次感。

 

  • 数据对接模块

用于将按照一定格式生成的虚拟仿真数据,以及实际三维相机拍摄的数据进行融合匹配,形成虚实结合的场景,融合匹配操作默认自动完成,可以手动配置进行修正。能为远端视觉输入设备定位系统提供虚拟的操作目标,实现远端视觉输入设备定位系统对虚拟目标的操作。

 

  • 设备调度模块

用于分配投影仪显示的三维场景,液晶拼接屏开窗数量,每个窗口显示的视频,遥操作终端设备的选择。

输入设备包括遥操作控制终端,具备适应甲方提供的遥操作终端型号、个数的能力,能对遥操作终端进行状态和参数设置。

输出设备包括三维头盔、液晶显示器、平面和立体投影仪,能对输出设备进行状态和参数设置,配置相关的软件支持设备。

图9  设备调度模块


04

可实现的实验项目

 

根据用户需求调研,结合项目背景分析,用户主要实现实物仿真实验、虚拟仿真实验、混合仿真实验三种应用模式。

其中,在多人协同任务时如创建的实验任务为远程实物仿真实验模式,则所有接入用户必须都为远程实物仿真实验;而空间虚拟仿真实验、混合仿真实验两种模式可在多人协同任务时混合应用。

  • 实物仿真实验

基于在VR头盔中双目远程立体成像的真实空间反馈体验,以及力反馈设备的力矩操作体验,使远程操控机械臂如同使用自己的手臂去完成任务一样清晰具象,操作过程更加精确可靠。

图10  远程实物仿真实验

 

  • 虚拟仿真实验

虚拟仿真实验,通过三维可视化技术构建虚拟的机械臂与实验目标,并可将它们部署于依托真实的环境数据支撑的虚拟真是环境中,通过真实仿真数据驱动其运行,实现更加符合真实作业环境的仿真实验。

虚拟仿真实验模式,可支持现实中存在与不存在的各种机械手臂和实验目标,在验证机械臂对目标运动干涉时,不受地面实验设备限制,可进行最接近真实的设备姿态变化。

图11  空间虚拟仿真实验

 

  • 混合仿真实验

混合仿真实验使用当前最先进混合现实技术,将真实的设备(机械臂)与虚拟的目标设备融汇在一个空间中,并进行接触物理仿真计算,实现虚实融合的仿真实验。

混合仿真实验,应用混合现实虚拟仿真技术,实现真实机械臂与虚拟目标星的无缝结合,使实验室具备极大的实验任务兼容性,并降低了实验成本、减少实验时间。

图12  混合仿真实验

 

03

业务价值

航天技术是一项综合性很强的高技术集群,荟萃了当今世界上科学技术的许多最新成果。航天技术的发展和每一次重大突破,都会引起经济的深刻变革和人类社会的巨大进步。Hysim和远科技很荣幸为航空事业贡献一份力量。

 

通过本系统多维度状态输入设备,实现基于虚拟现实和混合现实的远程操控和培训。结合远端视觉输入设备定位系统和三维全景仿真验证系统调度软件,既可以让远端目标操作机械臂,实现远端目标操作的作用,又同时实现对远端力觉信息的重现,一起构成了完整的三维全景仿真验证系统。

 

基于在VR头盔中双目远程立体成像的真实空间反馈体验,通过三维可视化技术构建虚拟的机械臂与实验目标,以及力反馈设备的力矩操作体验,使远程操控机械臂如同使用自己的手臂去完成任务一样清晰具象,操作过程更加精确可靠。通过三维全景仿真验证系统,实验者可以在立体环境中使用力反馈设备驱动双臂机器人进行实验操作,并可以完成模拟实物仿真实验、虚拟仿真实验、混合仿真实验多种实验状态,为后续实操提供实验依据。

 

航空事业的发展是技术的飞跃进步,社会生产突飞猛进的结果。虽然还只是人类离开地球这个摇篮的最初几步,但它的作用已远远超出科学技术领域,对政治、经济、军事以至人类社会生活都产生了广泛而深远的影响。