WUHAN

目前，遥操作机器人系统广泛应用于危险作业、灾害、核环境、深海、空间等领域，可以代替人类在危险和极限环境下完成作业任务，使人能够在远离现场的地方安全地进行远程操作[1-2]。定位精度和执行效率决定着机器人遥操作任务的成败。然而，大时延造成遥操作员在发出遥操作指令后无法同步获得机器人系统运动状态信息和操作臂姿态、位置扰动信息等，同时，遥操作员也无法预先验证遥操作指令的执行效果，这样，一旦在运动过程发生危险时，遥操作人员无法及时得到报警信息，给遥操作安全问题带来极大的挑战。预测图形仿真控制是用来克服时延问题的一个重要方法[3-4]。

本研究针对时延对机器人遥操作系统可操作性、安全性和稳定性的影响，在对解决大时延问题的预测图形仿真控制技术研究现状归纳总结的基础上，对基于虚拟现实的预测图形仿真技术与基于增强现实的预测图形仿真技术进行了比较分析，根据机器人运行环境的特点，重点对比分析了遥操作增强现实仿真场景构建涉及的三维注册、虚实无缝融合、多层次遮挡以及遥操作场景中人机多维信息互动实现方法等关键技术，并指出了基于增强现实技术的遥操作预测仿真技术未来的一些研究方向。

基于虚拟现实的预测图形仿真技术

随着计算机图形学及相关技术的快速发展，虚拟现实技术日益引起研究者的重视，逐渐成为解决时延问题、提供操作者遥操作沉浸感的主要手段之一[5-7]。Noyes[8] 通过一个线性机器人模型叠加在具有时延的机器人位置，来对远程机器人运动进行预测。使用这个方案，操作人员不用等待就能立即获得控制行为的反馈。试验表明，该预测显示方法比非预测显示方法操作机器人效率大大提高，完成任务时间减少了50%。Bejczy[9]使用了面向远程操作的图形仿真，该仿真为操作人员的控制行为提供了预测显示。Conway[10] 等提出了遥操作时延控制中的同步问题，认为将基于时间、位置的预测显示控制与实际动作异步，可以加速对复杂任务的控制从而节省时间。

在国家863 等相关项目资助下，北京邮电大学虚拟技术中心在2004年构建了基于PC 的220 度五通道大型环幕显示系统[11]，系统具有宽视场角、高分辨率、画面颜色整体一致性好、整体造价低等优点，采用被动立体的方式实现了立体投影显示，具有很好的沉浸感；以此平台为基础，我们提出了基于虚拟现实图形预测仿真技术的遥操作整体设计方案，如图1 所示。针对空间机器人遥操作、虚拟设计、制造等具有高度动态性质的虚拟场景，我们研究并设计了新的并行绘制体系结构，集中sort-first 结构中立即模式和保留模式两种框架的优点，构建了一种新的混合型并行绘制体系结构，并采用实时的几何压缩等技术手段解决该体系结构下系统的可扩展性限制和网络带宽瓶颈等问题。在该平台下完成了破碎机转子与轴承座的装配等一系列的制造装配过程的动态模拟。

但是，通过前期的研究我们发现，基于预测图形仿真的虚拟现实法对克服时延起到了较为有效的作用，然而该方法却存在原理性缺陷：

（1）因系统不可避免地存在建模误差与运动累积误差，会导致仿真环境中的虚拟机器人与实际机器人的运动存在偏差，而这些误差的存在不但降低了预测的效果和精度，还可能导致在实际操作中出现误操作，例如抓取物体时，往往出现仿真模型已经抓住了物体，而真实模型却未能抓到物体的情况。

（2）此外，对于远端的操作环境我们不可能完全已知，即使环境已知，在操作过程中也可能因某些外界因素的作用使得实际模型的状态发生变化，而这些变化却不能及时地在仿真中得到反映，因此如完全依靠预测仿真系统必将大大降低系统处理突发外部事件的能力。

总结而言，基于虚拟现实的遥操作技术要求操作者对远程环境具有丰富的先验知识从而建立准确的虚拟现实遥操作环境[12]，由于以上这些不确定因素的存在，希望纯粹通过仿真模型来反映实际模型的运动情况是不可靠的，必须利用现场真实的传感器信息去修正仿真模型，增强图形仿真的效果。

基于增强现实的预测图形仿真技术

增强现实技术是在虚拟现实技术的基础之上发展起来的。它具有虚实结合、实时交互和三维注册的特点[13]。与虚拟现实技术相比，它不仅能模拟仿真现实世界，而且能够利用多维度的信息通道来增强现实世界的表达，让参与者感知到现实世界中无法感知或难以感知到的信息，增强了用户对现实世界的感知能力和与现实世界的交互能力[14]。在机器人遥操作方面，增强现实同样显示出了其不可替代的优势和广阔的应用前景[15-16]。通过视频融合技术，可以把远端机器人的真实情况通过摄像机拍摄下来，传到本地操作端与仿真模型在同一窗口中叠加显示，这样操作者就可以方便地对虚拟机器人和真实机器人的运动情况进行对比分析，从而找出它们之间的差异，并在必要的时候对仿真模型进行及时修正，或对远端机器人发出修正的命令，使得它们的运动相吻合。因此，视频融合可以消除系统的建模误差和运动积累误差，提高遥操作的精度。

此外，由于操作者能够在同一窗口中同时观测到虚拟机器人和真实机器人的执行情况，一方面，可以有效地集中操作者的注意力，便于操作者及时发现问题，增强系统处理突发事件的能力；另一方面，可以增加操作者的操作可信度和操作结果的心理认同感，可以减轻操作者的心理负担和疲劳感，提高遥操作的效率。

基于增强现实的机器人遥操作控制系统。系统结构图如图2 所示。近5 年来，国内外在增强现实关键技术及遥操作人机多维信息互动实现方法等方面的研究主要集中在以下5 个方面：

1　真实场景与虚拟物体的无缝融合

真实场景与虚拟物体的无缝融合，关键在于如何确定虚拟模型在真实环境中的相对位置，需要准确的三维注册算法。在目前的增强现实系统中，大多采用动态注册，根据使用方法的不同一般可以分为两种，即基于跟踪器的注册技术[17-18] 和基于计算机视觉的注册技术[19]。

基于视觉的注册具有很好的精准度和实时性，可以快速准确地得到系统所需要的位置及方向等信息[20-23]。因此成为目前注册技术研究的主流。基于标志物的注册方法稳定性、可靠性和实时性都能满足实用的要求，但目前基于标定的注册算法还面临许多问题有待解决：基于单应性矩阵的注册算法通用性较好，但容易造成累积误差，系统运行时间越长，误差累积越大，有可能导致注册失败；基于全图像频域信息的注册方法运算量小、精度高、速度快、不需要提取特征点，但对于近景注册误差较大，很多注册算法只能在固定位置添加虚拟物体，且通常只适用于某一特定的注册环境，鲁棒性差。

而且，目前已有的与虚实整定相关的各项技术如图像匹配、注册等技术的研究多集中面向于室内场景或小范围室外场景的应用。这些场景通常环境稳定、采集的图像清晰，场景中通常设置方便提取和识别的人工标志物，这些因素都是实时高精度注册定位的有力保证。

大范围户外场景中视点比较远以及环境中各种噪声因素存在等原因，造成采集的图像分辨率低、图像质量较差，而且在这种大范围户外场景中放置人工标志物几乎是不可能的，因此目前已有的技术很难以可靠有效的应用。基于无标志物的注册技术正好能很好的解决上述问题。

特征点的求取与匹配是无标志物注册技术需要解决的核心问题之一[24-25]。由于现实环境复杂多样，影像数据流每帧提取的特征点会有较大出入，因而稳定良好的匹配结果需要大量计算，由此也影响制约了系统的实时性，目前这方面问题在国际上仍是研究的热点和难点。

2　虚实物体遮挡处理技术

增强现实中的虚实遮挡检测研究就是要通过一定的技术手段来判断虚实对象间的投影嵌入方式是属于不同类型中的哪一种，根据不同的遮挡关系进行不同的投影嵌入处理。随着增强现实技术的发展，出现许多虚实遮挡检测算法以力求快速准确地获得虚实投影间的遮挡关系，这些算法主要可分为两类：一类是基于知识的遮挡检测[26]，在对真实场景充分认知的情况下，可以对真实场景进行三维建模，利用真实物体的模型数据与虚拟物体进行遮挡处理。这种方法因为真实物体的模型数据已知，不需要进行视觉深度计算，因此处理速度快，但前期建模的工作量非常大，而且仅适用于静态简单场景，对建模困难的随机复杂的动态场景不适用。

另一类是基于深度计算的遮挡检测算法[27-30]，这类算法通过相机标定和双目视差理论计算拍摄场景中每一空间点的三维属性，与虚拟点进行深度比较判断虚实遮挡关系。基于点对点深度计算可以实现多层次的遮挡检测和处理但是计算量非常大，实时性差，所以多采用基于轮廓线的深度计算进行遮挡判断[31]，但真实物体深度是轮廓深度的均值，所以只能简单地进行虚实物体间的遮挡关系判断，对真实复杂场景中虚实景物相互间部分遮挡部分不遮挡的多层次交叠的情况很难进行有效处理，影响虚实融合后的沉浸感。考虑到遥操作机器人系统图形预测仿真这一应用领域的特殊要求，提出遥操作增强现实中快速多层次虚实遮挡处理的新方法是目前的一个研究热点和难点。

3　 遥操作场景中人机多维信息互动实现方法

目前，网络遥操作机器人系统所提供的反馈一般只有现场视频反馈和力觉反馈[32]， 操作者通过视频和力觉反馈感知机器人的运动状态和其周边环境信息，所得到的感知信息只能是定性和粗糙的。对于遥操作机器人系统，不仅要求能够对由遥现场采集传回的多路信息进行实时地感知、融合和解释，而且要对诸如场景的环境物理化学及场信息、物理化学属性信息等不可感知信息以一定的方式呈现出来，辅助操作者规划合理的机器人动作去完成相应的任务[33]。为此，对加入了遥操作者的有人控制机器人系统，需要对这些多传感信息加以量化并反馈给操作者，通过人的高智商和自学习能力，使得操作者能够替代机器人完成更高层次的决策、控制等功能。显然，这些量化的信息反馈是原始的，为了进一步地给操作者提供辅助决策，需要对这些多信息加以融合和处理。为了增强操作者全方位的感知能力，可以将这些多信息以视觉、听觉和触觉等信息反映出来，多维信息的来源可以是被操作对象物体匹配识别后提取自形态认知知识库的物体属性数据、由遥操作机器人上装置的各种传感器的探测数据等。可感知的物理沉浸感与不可感知的多维度信息沉浸感是遥操作增强现实的重要组成部分，现有的增强现实系统多追求前者的效果，而鲜见对后者的研究。

北京邮电大学于2002 年建立了一个面向某特种作业的机器人遥操作系统，以此为实验平台，对遥操作和视频融合技术进行了深入的研究[34-35]。在该系统中，我们通过网络来模拟通信时延，采用预测图形仿真的控制方法来克服时延的影响，为了克服建模误差和提高遥操作的效率，将现场返回的视频图像和预测的仿真模型进行动态的融合，实现了基于增强现实的机器人遥操作系统。实验结果表明，采用增强现实技术不但可以克服时延的影响，还可以提高操作的精度和效率。

2007 年北京邮电大学在国家863 计划项目“基于双路视觉的机器人遥操作动态增强现实关键技术研究”支持下，我们将遥操作场景的实时流媒体立体影像与快速重构生成的虚拟三维物体、虚拟机器人姿态动态融合在一起[36]，利用安装在机器人上的双路视觉系统获取真实的场景视觉影像，并合成为立体图像；再与三维虚拟机器人及拟操作的虚拟对象物体进行多层次快速遮挡判断及无缝融合，辅之以多维互动信息；最终生成增强的遥操作环境，以提高遥操作的精度和效率，并完成了诸如按开关、插孔、拉抽屉、抓取物体等多项空间模拟作业，如图3 所示。该方法突破已有的基于增强的平面视频流操作定位方法的局限，开发基于双目立体匹配的多层次虚实遮挡检测算法，解决传统增强现实中三维对象物体遮挡处理仅适用于静态简单场景，对建模困难的随机复杂动态场景不适用，深度求解的计算量大，鲁棒性差，须要场景具有足够丰富的特征信息的缺点；建立一种面向遥操作的增强的人机多维信息互动模型（见图4），克服现有遥操作系统中辅助信息不全的局限。

总结与展望

（1）遥操作机器人应用正在深入到从日常生活、医疗手术到航空航天、国防等各个方面, 而遥操作的精准度和效率是制约其应用的瓶颈。

（2）将增强现实技术应用到遥操作系统中，相对于虚拟现实技术，具有3 点优势：①不要求对遥操作环境具有丰富的先验知识，适合于结构化和非结构化的遥操作环境，甚至是完全未知的遥操作环境。②增强现实的遥操作环境中，虚、实远端执行机构共存，能有效地提高遥操作的效率和精度。③当由于外界因素的作用使遥操作环境发生改变时，增强现实的环境可以及时反馈给遥操作者，避免遥操作的误操作，提高处理外部突发事件的能力，使遥操作环境具有一定的动态适应性。同时，虚拟信息还可为遥操作提供多种辅助信息，提高操作者对未知操作的适应能力。

（3）面向机器人遥操作增强现实关键技术的研究已成为国际学术界的研究热点，目前国内外在这一领域的研究尚处起步阶段，特别是有关遥操作场景中对象物体的三维快速遮挡处理及遥场景下多维信息互动感知机制方面研究较少；在遥场景下多维信息互动感知机制方面，可感知的物理沉浸感与不可感知的多维度信息沉浸感是遥操作增强现实的重要组成部分，如何在实现前者功的同时，提供操作者与对象及场景信息的多维度互动，突破人类感知的限制，为操作者再现理想化的真实，这是一个迫切需要解决的问题。