现实增强技术的军事应用

　　一、概述  (一)现实增强技术的内涵
　　现实增强(Augmented Reality，简称AR)是一门新兴的技术领域，它是在虚拟现实(Virtual Reality)基础上发展变化而来的。虚拟现实是使用户完全浸入在全部都是合成的虚拟环境当中，用户不能够感受到周围的真实环境。而相反情况，现实增强不但使用户能够感受到真实的环境，并且将虚拟的物体叠加或者融合在真实的环境当中，展现给用户在同一个空间场景中虚实的共存，它对现实的场景进行补充，但是不完全取代现实场景，通过这样的虚实融合来增强用户对真实环境的理解和感受，以此来达到＂增强＂的效果。
　　综合来说，现实增强技术是一门交叉学科，它是建立在多个学科基础上的技术，是将计算机生成的虚拟图像实时地、动态地融合到用户所看到的真实环境中的一种技术，同虚拟现实不同的是观察者所在真实场景与虚拟物体是有机融合到一起的，两者之间其一变化另一个也相应地随之变化，观察者会感觉到这些虚拟物体好像是真的存在于真实场景中一样，使得虚拟物体从感官上成为周围真实环境的组成部分。  (二)现实增强系统的特点及组成
　　现实增强系统是使用了现实增强技术的应用系统。其主要的特点是：
　　(1) 用户拥有沉浸感，虚拟环境与实际环境融为一体，几乎感觉不到真假融合所产生的不和谐；
　　(2) 系统具有交互性，用户可以通过交互设备直接与虚拟物体或虚拟环境进行交互，增强了操作者对环境的感知；
　　(3) 系统在三维空间中增添、定位虚拟物体。
　　典型的现实增强系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现的，其系统结构如图 1 所示。摄像机拍摄所得的视频直接显示在显示器中，使用户看到真实场景；另一方面，虚拟摄像机拍摄到的虚拟视频也被送到显示器。融合过程中，需要虚、实两个摄像机的全方位对准，这需要跟踪注册等系统的支持。最后，显示器产生了融合的场景。
　　三、现实增强关键技术
　　现实增强包括通过各种技术手段和信息载体对现实的知识、信息、智力、体力与综合能力进行增强。将现实增强技术应用在武器系统研发和智慧产业发展中，共性的关键问题：通过人、机器、环境和信息的充分融合，系统与用户之间的无缝集成与友好交互，根据实际需要，实现知识随处可学习、信息随时可更新、智力遇事可提升、体力全域可增强。  （一）显示技术
　　现实增强系统设计最基本的问题就是实现虚拟信息和现实世界的融合。显示技术是现实增强系统的基本技术之一。一般而言，可以把现实增强的显示技术分为以下几类：头盔显示器显示、投影式显示、手持式显示器显示和普通显示器显示。
　　（1）头盔显示器显示
　　现有的虚拟现实技术的人机界面中大多采用头盔显示器(Head-mounted display,简称HMD)。主要原因是头盔显示器较其他几种显示技术而言沉浸感最强。因为用于增强显示系统的头盔显示器能够看到周围的真实环境，所以叫做透视式（see-through）头盔显示器。透视式头盔显示器分为光学透视型和视频透视型两类。后者的优点在于虚拟对象能完全掩盖住实际对象,并能运用大量图形特效将两者完美结合起来,但由于采用摄像机采集环境图像,它牺牲了人眼自身的大视场、直观感及对色彩的高分辨率,所以只适用于对成像要求不太高且目标距离较远的场合。而前者的最大优势在于能够完全体现真实现实,可让用户按人眼对外界的直观感觉看到真实视野下的现实世界,因此较适合于较近距离的侦察、观瞄场合。但光学透视型头盔显示器当前存在有虚拟对象不能完全掩盖其后的物体及透过率偏低的问题。Micro-vision公司新近开发的低耗能激光头直接在视网膜上扫描成像的技术已经解决了这一问题,它在视网膜上成像,即便在亮度很强的环境下也能看到,而且还可以根据需要把亮度调到最暗。
　　还有一种更为奇特的方法是虚拟视网膜显示技术（Virtual Retinal Display，简称VRD）。华盛顿大学的人机界面实验室（HIT Lab）研究出的VRD是通过将低功率的激光直接投射到人眼的视网膜上，从而将虚拟物体添加到现实世界中来。
　　（2）投影式显示
　　投影式显示（projection display）是将虚拟的信息直接投影到要增强的物体上，从而实现增强。日本Chuo大学研究出的PARTNER现实增强系统可以用于人员训练，并且使一个没有受过训练的试验人员通过系统的提示，成功地拆卸了一台便携式OHP（Over Head Projector）。
　　另外一种投影式显示方式是采用放在头上的投影机(Head-Mounted Projective Display，简称HMPD)来进行投影。美国伊利诺斯洲立大学和密歇根洲立大学的一些研究人员研究出一种HMPD的原型系统。该系统由一个微型投影镜头，一个戴在头上的显示器和一个双面自反射屏幕组成。由计算机生成的虚拟物体显示在HMPD的微型显示器上，虚拟物体通过投影镜头折射后，再由与视线成45 的分光器反射到自反射的屏幕上面。自反射的屏幕将入射光线沿入射角反射回去，进入人眼中，从而实现虚拟物体与真实环境的重叠。
　　（3）手持式显示器(Hand Held Display，简称HHD)显示
　　通过采用摄像机等其他辅助部件，一些现实增强系统采用了手持式显示器。美国华盛顿大学人机界面技术实验室设计出了一个便携式的MagicBook现实增强系统。该系统采用一种基于视觉的跟踪方法，把虚拟的模型重叠在真实的书籍上，产生一个现实增强的场景。同时该界面也支持多用户的协同工作。日本的SONY计算机科学实验室也研究出一种手持式显示器，利用这种显示器，构建了Trans Vision协同式工作环境。
　　（4）普通显示器显示
　　现实增强系统也可以采用普通显示器显示。在这种系统中，通过
　　摄像机获得的真实世界的图像与计算机生成的虚拟物体合成之后在显示器输出。在需要时也可以输出为立体图像，这时需要用户戴上立体眼镜。  （二）注册技术
　　注册技术是现实增强系统最为关键的技术之一，注册实际上就是将计算机生成的虚拟物体和真实环境中景象＂对齐＂的过程。注册必须先确定虚拟物体与观察者之间的关系，然后通过正确的几何投影将虚拟物体投影到观察者的视野中。注册一般分为动态注册和静态注册。动态注册是摄像机与真实物体相对运动的情况下，确定二者的相对位置；静态注册是摄像机与真实物体相对静止的情况下确定二者的相对位置。在目前的现实增强系统中，绝大多数是采用的动态注册。动态注册技术一般可以分为三种，基于跟踪器的注册技术和基于视觉的注册技术以及结合前两种优势的复合注册技术。
　　1.基于跟踪器的注册
　　基于跟踪器的注册方法普遍采用惯性、超声波、电磁、光学、无线电波或机械装置等进行跟踪。其中，惯性导航装置通过惯性原理来测定使用者的运动加速度，通常所指的惯性装置包括陀螺仪和加速度计；超声波系统利用测量接收装置与3个已知超声波源的距离来判断使用者位置；电磁装置通过感应线圈的电流强弱来判断用户与人造磁场中心的距离，或利用地球磁场判断目标的运动方向；光学系统使用CCD传感器，通过测量各种目标对象和基准上安装的LED发出的光线来测量目标与基准之间的角度，并通过该角度计算移动目标的运动方向和距离；机械装置则是利用其各节点问的长度和节点连线间的角度定位各个节点。这些跟踪技术共同的问题就是自身应用领域的局限性。例如，电磁跟踪器只能在事先预备的磁场或磁性引导环境下工作；GPS和电磁跟踪都不够精确，机械跟踪系统笨重不堪；适用于室内的跟踪系统不一定能在户外正常发挥作用等等。总之，没有完美的选择。因而对现实增强系统来说并没有单一完美的跟踪解决方案，跟踪系统可以结合其中的两三种跟踪传感器以相互补偿大延时、低刷新率甚至暂时的失效。
　　然而，对于一个实际的现实增强系统，仅仅根据头部跟踪系统提供的信息，系统没有反馈难以取得最佳匹配；而且跟踪器法的精度和使用范围都不能满足现实增强的需要，又容易受到外界干扰，因而几乎不可能单独使用，通常与视觉注册方法结合起来实现稳定的跟踪。
　　2.视觉跟踪注册
　　目前，视觉跟踪注册主要有基准点法、模版匹配法、仿射变换法和基于运动图像序列的方法等。
　　其中，基准点方法需事先对相机进行定标(获取4个内部参数)，并设置相应的标记或基准点，然后对获取的图像进行分析，以计算相机的位置和姿态(获取6个外部参数)。其原理是先从图像中提取一些已知的对象特征点，找到真实环境和图像中对应点的相关性，然后由相关性计算出对象姿态，这个过程也就是对从世界坐标转换到摄像机坐标的模型视图矩阵的求解过程。通常，特征点可以由孔洞、拐点或人为设置的标记来提供。其中，对于人为标记的特征点，若按照颜色划分则有黑白与彩色两种情况，而按照形状划分则有圆形、同心圆环、多边形(包括三角形、方形、五边形等)和条形码等。黑白标志可在图像二值化后用相应算法提取，相对来说彩色标志通过色彩分量提取更容易，但同时也易受到光照条件、相机本身质量和观察角度方向等的影响；圆形和同心圆环基于本身几何特性对观察方向的改变很稳定，但是用于作为特征点的中心位置就较难以精确确定；多边形标记采用拐角作为特征点，位置信息更为精确，但往往需要额外途径或信息以使各拐角特征点相互区别，而且多边形方法在标记部分受到遮挡时就可能会由于特征点数量的缺失而失效。
　　根据所使用摄像机的数量不同，基准点方法又可分为基于一个摄像机的单摄像机法和双摄像机的立体视觉法。对单摄像机法来说，至少需要4个特征点，因而常采用方形标记；立体视觉法则需3个特征点就可确定，因此原理上采用三角形即可，但出于对遮挡鲁棒性的考虑有时也会采用方形标记。立体视觉在对特征点数量的要求上更具优势，并且可以同时从图像视差中获取场景深度信息，但该法分辨率不高、定位精度不够、相机之间基线短且注册深度有限；因此单相机方法虽然需要至少4个特征点，却以性能表现成为了注册方法的首选；立体视觉法则可作为对单相机方法提高稳定性的额外补充发挥重要作用。
　　模版匹配法同样需要事先对相机标定内部参数，再通过图像分析处理提取环境中平面上的特定图形图案，并与已有模式进行匹配，匹配成功即可确定该图案板的位置和姿态，因而确定要叠加在图案板上虚拟对象的位置和姿态。模版匹配法的典型代表是ARToolKit。目前，采用ARToolKit开发的系统有很多，例如MagicBook等。模版匹配法的优点是方便快速，使用普通PC机和摄像机即可实现很高的帧频，对快速的运动也适用；缺点是鲁棒性不够，只要对图案稍有遮挡就难以有效运作，因此无法近距离观察与图案板相连的虚拟物体或者用实际物体与之进行移动交互。
　　针对复杂的相机标定，有研究致力于简化甚至免除该过程，出现了半自动和自动标定及无需标定的方法，半自动和自动标定一般利用冗余的传感器信息自动测量和补偿标定参数的变化；而无需标定的方法则以仿射变换和运动图像序列法为代表。
　　仿射变换法不需要摄像机位置、相机内部参数和场景中基准标志点位置等相关先验信息。仿射法通过将物体坐标系、相机坐标系和场景坐标系合并，建立一个全局仿射坐标系(非欧几里得坐标系)来将真实场景、相机和虚拟物体定义在同一坐标系下，以绕开不同坐标系之间转换关系的求解问题，从而不再依赖于相机定标。这种方法的缺点是不易获得准确的深度信息和实时跟踪作为仿射坐标系基准的图像特征点。
　　基于图像序列的方法是利用投影几何方法从图像序列中重构三维对象，目前已可以较好地重构一些简单的表面实体。存在的问题是，现有基于图像序列重构三维对象的技术中，特征点的提取完全基于图像特征进行，少量高可靠性的特征点必须由大量特征点通过复杂的匹配和迭代计算得到，因此难以保证观察视点位置获取的实时性。
　　就目前而言，基于视觉的现实增强系统可使测量误差局限在以像素为单位的图像空间范围内，因而是解决现实增强中三维注册问题最有前途的方法。但同时研究表明，准确快速的跟踪注册在环境中有精确外部参考点的情况下，比在复杂的户外真实世界中容易实现得多；在户外情况下，需要使用结合了基于跟踪器方法的复合注册法。
　　3．复合注册法
　　一般的视觉跟踪注册法虽然精确性高，但为了缩短图像分析处理的时间，常依赖于帧间连续性，当相机与对象间相对运动速度较大时就会找不到特征点；另外，视觉跟踪注册法在环境不符合要求(例如标记被遮挡或光照不足)时会失效，稳定性不够好。而跟踪传感器如电磁跟踪等虽然精确性不高，又有一定延迟，但鲁棒性和稳定性不错，而且对用户运动的限制也较小。因此，结合视觉法和基于跟踪器的方法可以取长补短：通常是先由跟踪传感器大概估计位置姿态，再通过视觉法进一步精确调整定位。一般采用的复合法有视觉与电磁跟踪结合、视觉与惯导跟踪结合、视觉与GPS跟踪结合等。
　　电磁跟踪法便携性好，但易受到环境中金属物体的影响，精度不够高；与视觉法结合可以起到加速图像分析过程、从多选中确定正解、作为后备稳定跟踪和为视觉法提供对比参照结果等作用。惯性跟踪优点是延迟小速度快，缺点是误差累积效应并会影响注册稳定性；与视觉法结合后可以预测平面标记的大概运动范围并增加系统鲁棒性和性能表现，视觉法则负责局部图像分析以精确定位并消除传感器的累积漂移量。  （三）交互技术
　　目前许多研究人员在考虑用户如何与现实增强应用进行交互,如何有效地在现实增强显示器上表现信息、与虚拟信息进行交互是很困难的事。现实增强系统需要实现用户与真实环境中虚拟物体自然直观的三维交互，这就需要系统设计针对现实增强系统的交互工具，并能够跟踪定位到交互工具的位置信息.执行用户对空间物体实施的指令。目前,现实增强交互手段研究有两个趋势:使用不同的设备,取各家之长;通过切实可行的界面,使虚拟对象与自然界成为一个整体。现在主要使用的交互方式有三种:
　　1.菜单:多用于掌上电脑的应用。
　　2.特殊标记:用于将特殊的标记固定在用于交互的设备上。
　　3.特制工具及硬件设备:一般外形简单、易于识别、并且通过按键可以触发一些系统事件。
　　（四）跟踪与定位技术
　　由于要实现虚拟和现实物体完美结合,必须将虚拟物体合并到现实世界中的准确位置,这个过程常称为配准(registration),因此现实增强的跟踪定位系统必须能够实时地检测观察者在场景中的位置、观察者头部的角度,甚至是运动的方向,以便用来帮助系统决定显示何种虚拟物体,并按照观察者的视场重建坐标系。在现实增强系统中,最常用的是使用视频检测技术。视频检测就是使用模式识别技术(包括模板匹配、边缘检测等方法)识别视频图像中预先定义好的标记、物体或基准点,然后根据其偏移和转动角度计算坐标转换矩阵。用视频检测方法进行定位不需要其他设备,且定位精确。  （五）大数据技术
　　在现实增强中实现对信息的增强，需要运用大数据技术。大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。大数据具有4个典型特征：大体量、多样性、价值密度低、速度快。其中，大体量是指由于非结构化数据的快速增长导致的超大规模数据；多样性是指由于数据具有多种形式（图像、图形等）；价值密度低是指数据中存在大量的不相关信息；速度快是指数据处理的速度必须很快。应用大数据技术，可以迅速挖掘数据信息的内在规律，提供更高效率的决策支持，图像识别服务。大数据技术包括了数据的采集，预处理，大数据存储以及管理，大数据分析以及挖掘，大数据展现和应用例如大数据检索，可视化等等。
　　现实增强中重要的跟踪与定位技术要用到对现实环境中物体的模式识别技术。利用大数据技术中的深度学习方法，可以显著的提升模式识别的准确率。利用了大数据分析的深层神经网络模型（Deep Neural Networks），在图像识别领域取得惊人的效果，在ImageNet评测中将错误率从26%降低到15%。
　　通过对海量异构实时数据的分析，可以获得有价值的决策信息，这是现实增强虚实融合展现信息的基础。例如，现实增强技术在军事领域应用中，需要给指挥战斗人员在复杂战场上利用显示头盔等设备实时展现战场动向，建筑结构，武器性能，决策信息等。而这些信息的展现需要对海量多源异构数据进行及时、快速和准确的数据分析能力作为基础，为正确决策、指挥提供高价值情报。  （六）智能专家系统技术
　　在现实增强中实现对知识和智力的增强，需要运用智能专家系统技术。智能专家系统是一个以＂知识工程＂为核心，综合应用人工智能与计算智能原理与方法、现代设计理论与方法，先进建模与仿真技术，以及相关应用领域专业技术的复杂系统智能化系统，包括：一网（一个知识构件服务网格），四库（数据库、模型库、知识库、算法库），二个引擎（推理引擎、仿真引擎）。专家系统是一个具有大量专门知识的智能程序,它应用人工智能技术,根据一个或多个专家提供的特殊领域知识进行推理,模拟专家做出决定的过程。它解决那些需要专家解决的复杂问题,提供专家水平的解答。智能专家系统能够高效、周密面、迅速且不疲倦地进行工作，能够解决现实增强技术对基于知识的智能化工程技术的需求，能够继承和重用已有的研制经验，建立基于知识工程的先进设计技术体系。运用智能专家系统技术，能够为现实增强系统建立不同层级的推理模型，综合考虑各种因素，运用专家知识，逻辑推导预判相关情形，辅助选择推送优化结果。
　　四、现实增强系统军事应用
　　20世纪90年代初期,现实增强这个名词一经提出,美国就率先将其用于军事领域。近几年现实增强已进入了军事领域的多个方面,并开始发挥其巨大作用。各国也都将现实增强在军事领域的应用列为高度军事机密。目前,现实增强在军事领域的应用主要集中在增强战场环境、军事训练及作战指挥等方面。  （一）武器装备现场作战环境
　　部队可以利用现实增强来增强战场环境信息,在真实环境中融合虚拟物体,可以增强真实的战场场景。向系统中输入部队的位置信息,系统不仅能向部队显示真实的战场场景,而且能够通过增加虚拟物体强调肉眼无法看见的环境信息以及敌方或己方的隐藏力量来增强真实战场场景的显示,真正实现各种战场信息的可视化。  （二）作战人员军事训练
　　现实增强可以为部队的训练提供新方法,通过增强的军事训练系统,可以为军事训练提供比实兵演习更加真实的战场环境。士兵训练时通过随身携带的现实增强系统,不仅可以看到真实的场景,而且可以观察到场景中各种增加的虚拟物体,将军事训练推向更加实战化。  （三）联合作战指挥
　　将现实增强应用于联合作战指挥系统中,可以允许各级指挥员同时观看、讨论战场以及与虚拟场景交互,实现整个战场信息的高度共享,这将更有利于各级指挥员快速、正确理解上级意图。通过增强的作战指挥系统,指挥员能实时掌握各个作战单元情况,有利于指挥员及时做出正确的作战决策。  （四）武器装备研制与仿真
　　将现实增强应用于武器装备研制中,可以实现不同地域、不同单位的设计人员合力为军方完成复杂装备的研制。研制部门也可以通过现实增强系统,将装备的模型及各种可能的设计方案融合在一起显示给军方的使用部门,使用部门可以通过现实增强系统全面比较各种方案,并且能够将修改意见直接反映到装备的模型上,这将大大提高装备研制的效率以及装备的实用性。  （五）武器系统综合保障
　　在数字化战争的后勤保障上,利用现实增强系统可实现战场远程急救、指导远程排雷等现场指挥,如由美国陆军医学研究和作战物资司令部的遥测医学和先期技术研究中心负责的一个基于＂信息医疗＂概念的项目,把可穿戴式计算机和无线通信网络相结合,外科医生和其他人员就能随时访问、阅读和传送关键医学数据;另外,装备培训现实增强系统则可缩短装备熟练使用的训练时间,降低训练成本。  （六）多用户、多终端协同
　　将现实增强应用于多用户、多终端协同工作,可以允许多个用户终端协同活动,同时观看、讨论以及和虚拟物体交互。协同现实增强系统可以为多个用户能够建立一个共享的、可理解的虚拟空间,类似于他们所理解的自然空间。融入现实增强的协同工作所提供的协同工作环境,将在模拟推演、军事标绘等领域有着广泛的应用。  （七）战斗机座舱显示
　　将现实增强用于飞行员座舱的显示,在飞行员座舱的前方玻璃上或者他们的头盔显示器上,将矢量图形叠到飞行员的视野中,不仅向飞行员提供导航信息,而且提供了包括敌方隐藏力量的增强战场信息。目前美国军方从事注册跟踪目标的研究工作,为飞机上装载的武器装备提供瞄准路径方面的增强信息。