微美全息科学院虚拟现实中基于眼电的人机交互技术

　　虚拟现实技术作为一种先进的计算机仿真模拟技术，目前已经在多个领域得到了广泛的应用。例如，在军事领域，通过虚拟现实技术进行军事仿真演练，能以低廉的成本、逼真的效果最大程度地代替实战训练，在让官兵尽快熟悉武器装备系统、提升部队战斗力、节省开支、优化资源配置、提高指挥决策水平等。
　　在医疗与康复领域，对于肢体受伤的残障患者，基于虚拟现实的康复训练可以为其提供有趣味性的综合性训练、精确的感觉回馈、安全的训练环境。根据患者的心理状态和病情，虚拟现实技术可以选择相应的康复训练场景和任务，以多种反馈形式激发和维持患者康复训练的主动性，提高康复效果。
　　沉浸感、交互性和构想性是虚拟现实系统的三个基本特征。传统的虚拟现实交互方式主要有VR手柄、数据手套、动作捕捉等。随着信息技术的不断发展，虚拟现实的人机交互技术出现了一些新的方法，例如，基于脑电、肌电等神经电信号的交互方式。这些不断涌现的人机交互技术大大增强了虚拟现实的沉浸式体验。作为纳斯达克上市企业＂微美全息US.WIMI＂旗下研究机构＂微美全息科学院＂的科学家们对一种新型的虚拟现实交互技术-基于眼电（EOG）的交互技术进行介绍。
　　基于眼电的虚拟现实交互技术
　　基于EOG信号的虚拟现实交互系统主要包括三个部分，分别是信号采集部分、眼电信号处理部分和虚拟现实场景部分，系统结构图如图1所示。系统工作时，用户实时接收来自虚拟现实场景的激励信号，用户根据激励信号做出相应的眼部动作，信号采集设备实时采集用户的EOG信号，然后通过一系列的信号处理，转换成对虚拟现实场景的控制指令，使虚拟现实场景执行相对应的命令，同时以视觉的方式向用户进行反馈。
　　图1. 基于眼电的虚拟现实交互系统
　　1.1 眼电信号采集
　　眼电信号是由角膜和视网膜之间的电势差而引起，可以用于反映眼球的运动，其幅值一般在0.4到10mV之间。相对于脑电信号来说，对眼电信号的采集较为简单方便，通常只需要少量的几个电极即可完成。如图2所示，可以使用6个电极来采集眼电信号。其中，电极A和电极D分布在眼球周围的上方和下方的位置，用于采集垂直方向上的眼电信号，其主要是由于眼球的上下运动或者眨眼而产生，电极B和电极C分布在眼球周围的左侧和右侧的位置，用于采集水平方向上的眼电信号，其主要是由于眼球的左右运动而产生。人体眼球在进行各种不同种类的运动时，会产生不同特征的EOG信号，可以通过设计相应的算法对EOG信号的特征进行识别从而将其转化为外部设备的控制命令，构建出基于EOG的人机交互系统。EOG信号相对于脑电信号而言，通常具有更高的幅值和更稳定的波形形状，因此，对EOG信号的检测要更为容易。
　　图2. 眼电电极分布示意
　　1.2 眼电信号处理
　　眼电信号处理主要包含信号预处理、特征提取、波形检测和分类识别等几大步骤。
　　（1）信号预处理
　　对原始眼电信号进行预处理的方法有很多，包括信号放大、基线校准、伪迹去除、下采样等方法。眼电信号所处的频段较低，且原始的眼电信号中一般混杂有人体其它生物电信号和外界电力工频噪声的干扰信号，故在预处理环节，一般通过低通滤波、小波变换等方法来减弱或消除基线漂移和高频噪声带来的干扰。
　　（2）波形检测
　　波形检测的基本原理是通过在上述预处理之后所得到的特征向量F（即差分后的眼电信号波形）的幅度和信号持续时间来判断受试者是否执行了有效的单次眨眼动作。在图3中可以观察到，差分眼电信号波形中存在着非常明显的峰-谷特性，且波谷出现在波峰之后。
　　图3. 单次眨眼动作产生的典型眼电信号波形差分前后对比图
　　对每一次激励信号后的提取出的特征向量F波形检测时，首先需要在F中找到波峰波谷的位置（具体方法为将特征向量F的极值点中数值最大的视为波峰，波峰对应的时间点设为tpeak；极值点中数值最小的视为波谷，波谷对应的时间点设为tvalley），然后对得到的对应于不同激励信号的特征向量F，分别计算每个特征向量中波峰和波谷之间的间隔时间tinterval和累积能量e，它们的计算方法如下式：
　　最后，通过如下公式来判断是否存在眨眼动作：
　　其中，Tmin和Tmax为眨眼时间的上下阈值，E为眨眼能量阈值。
　　（3）特征提取
　　在进行特征提取之前，一般要先提取出单个的眼电信号数据段，数据段的长度根据实际情况进行设计，特征向量一般也针对单个周期的眼电信号进行提取。需要注意的是，所提取的特征向量要能有效地代表眼电信号的特征，具有良好的区分性和独立性，而且要易于计算。眼电信号特征提取的方法有基于信号波形的形状特征提取法、小波变换法等等。
　　（4）分类识别
　　目前最常见的用于对眼电信号的特征进行分类的方法莫过于阈值法，此外，像支持向量机、BP 神经网络、线性判别分析等方法也可以应用到眼电信号的特征分类识别中来。每种方法都有各自的优点和局限性，应当根据实际情况选择最合适的处理方法。
　　2. 结束语
　　虚拟现实技术至今已有40年左右的发展历程，传统的虚拟现实交互方式主要有手柄、数据手套、动作捕捉等。近些年来，一些研究开始把基于生物电信号（包括眼电、脑电等）的人机交互和虚拟现实相结合。结合的方式通常是设计一个虚拟沉浸式的三维图形界面和反馈系统，其中用户可以使用人体生物电信号作为通信媒介与虚拟环境进行实时交互。这种基于生物电信号的虚拟现实交互技术的潜在发展前景主要包含两个方面。一方面，生物电可以作为虚拟现实系统的一种新型输入信号，改变了传统的与虚拟环境交互的方式。与传统设备相比，基于生物电信号的交互方式不需要依赖任何动作和语言，交互过程更为简单、直接。另一方面，虚拟现实技术也可以作为提高人机交互系统性能的一个有用工具。传统的人机交互系统中，用户界面通常是显示在屏幕上的一些简单的二维图形，与之相比，虚拟现实可以为用户提供更丰富多彩、更具有激励性的刺激与反馈信息，有助于提高系统的性能与易用性。此外，虚拟现实也可以为各种人机交互技术的应用原型提供一个安全、灵活的训练和测试平台。
　　微美全息科学院成立于2020年8月，致力于全息AI视觉探索科技未知，以人类愿景为驱动力，开展基础科学和创新性技术研究。全息科学创新中心致力于全息AI视觉探索科技未知, 吸引、集聚、整合全球相关资源和优势力量，推进以科技创新为核心的全面创新，开展基础科学和创新性技术研究。微美全息科学院计划在以下范畴拓展对未来世界的科学研究：
　　一、全息计算科学：脑机全息计算、量子全息计算、光电全息计算、中微子全息计算、生物全息计算、磁浮全息计算
　　二、全息通信科学：脑机全息通信、量子全息通信、暗物质全息通信、真空全息通信、光电全息通信、磁浮全息通信
　　三、微集成科学：脑机微集成、中微子微集成、生物微集成、光电微集成、量子微集成、磁浮微集成
　　四、全息云科学：脑机全息云、量子全息云、光电全息云
　　以下是微美全息科学院的部分科学家成员：
　　郭松睿，湖南大学计算机科学技术工学博士，曾在中科院科学计算国家重点实验室和现实技术研修班学习混合现实，增强现实技术，参与研发多个重点项目。
　　江涛，中国科学院沈阳自动化研究所博士，机器人学国家重点实验室，研究方向为微型仿生飞行器的气动/结构设计、控制与系统开发，在2018年获得 ICRCA-2018 机器人 EI 国际会议＂最佳论文奖＂。
　　杨军超，重庆邮电大学通信与信息工程学院信息与通信工程专业博士研究生，华盛顿大学电子工程学院联合培养博士，长期研究虚拟现实、5G多媒体传输优化、基于MEC的智能转码优化，以第一作者发表SCI/EI 论文 6 篇，中文核心 1 篇，申请专利 4 项。
　　李维娜 ，2017 年博士毕业于韩国忠北国立大学的信息和通信工程学院。2017 年 8 月去了新加坡的 Singapore-MIT Alliance for research and technology centre(SMART)从事压缩全息（compressive digital holography）的博士后工作，2018 年 11 月进入清华大学深圳国际研究生院的先进制造学部，在以前工作的基础上把数字全息（digital holography）拓展到机器学习（machinelearning）领域，特别是对 U 型网络（U-net）的改进和应用。在上述研究领域以第一作者发表高水平论文 5 篇，以第二作者发表的高水平论文2 篇。
　　曲晓峰，香港理工大学博士，现任清华大学深圳研究生院博士后，主要研究生物特征识别、机器视觉、模式识别，与绿米联创合作进行嵌入式产品算法、深度学习应用、图像与视频相关算法以及生物特征识别相关产品的开发。
　　危昔均，香港理工大学康复治疗科学系博士，南方医科大学深圳医院虚拟现实康复实验室负责人，主要研究基于虚拟现实技术的康复系统搭建及相关临床和基础研究。
　　单羽，昆士兰科技大学数字媒体研究中心（澳大利亚）博士，研究方向为虚拟现实娱乐产业与亚洲创意经济，曾参加多场虚拟现实产业的国际学术会议并发表主题演讲，发表多篇以＂虚拟现实艺术＂相关的学术论文，并参与国内多个虚拟现实娱乐产业领域的项目研究。
　　李社，哈尔滨工业大学博士，主要研究方向为手性光子晶体、手性光子晶体光纤及传感。参与国家自然基金、黑龙江省基金等多项项目，发表论文多篇，其中SCI检索3篇，EI一篇。获黑龙江省科技进步奖二等奖一项。
　　乔牧，哈尔滨工程大学博士，研究方向包括VR设计原理等，发表过多篇科技论文，参与了多项科研项目，包括国家自然基金项目、黑龙江省教育厅科研项目等，曾取得三项科技奖励，获得两项实用新型专利和一项发明专利。
　　滕达，中国铁道科学研究院博士，研究方向包括计算机科学与技术自然语言处理、信息工程及控制等，曾主持多项相关课题的研究，参与发表多篇学术论文，已申请发明专利3项。
　　田雪松，哈尔滨工业大学博士，研究方向包括图形图像光电信息处理及传感技术、量子通讯电子物理研究、激光防护用氧化钒薄膜性能研究等，曾发表多篇相关学术论文，曾参与多个国防科技预研跨行业综合技术项目。
　　朱学群 ，北京林业大学博士，具备交叉学科背景，擅长数理统计、量化分析、科学管理，主导多个重点全息AR项目实施，在材料、显示理论与研究很深的行业经验，是新华网中国双创导师、北京市海归科协双创导师。
　　李迁，北京科技大学博士，研究方向包括材料加工分析、镀膜、工业VR等，在激光共聚焦显微镜、扫描电镜、透射电镜等进行深入研究，对于分子材料、材料连接技术方向曾参与发表多篇相关论文。
　　赫万佳，香港理工大学博士，主要研究基于虚拟现实技术的康复系统及相关临床和基础研究，曾参与发表多篇相关论文及多个相关项目的研究。
　　周福礼，重庆大学博士，为国际学术协会会员。主要研究方向包括VR/AR驱动商业模式创新、大数据商务分析等，发表相关论文30余篇，其中SCI/SSCI检索10余篇，EI期刊12篇，CSSCI 1篇，曾经主持多个省部级项目。
　　刘伟星，中国科学院大连化学物理研究所博士，研究方向包括AR 衍射光波导的光栅设计，包括效率、显示均匀性、成像质量优化、AR 技术技术路线的探索和调研等。曾发表多篇相关论文及主导多个相关项目，且获已授权专利 8 项。
　　李庆普，上海理工大学博士，在虚拟现实领域有丰富的研究经验及项目实践经验，曾参与基于计算机触觉技术的虚拟医疗仿真技术研究、汽车模拟驾驶仿真研究、多体感VR硬件研发及VR实训安全教育等多个项目。其已发表多篇相关论文并取得多项专利。
　　微美全息科学院旨在促进计算机科学和全息、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进重大科技创新应用，打造产业、研究中心深度融合的生态圈。微美全息科学院秉承＂让有人的地方就有科技＂为使命，专注未来世界的全息科学研究，为全球人类科技进步添砖加瓦。
　　微美全息成立于2015年，纳斯达克股票代码：WiMi。
　　微美全息专注于全息云服务，主要聚集在车载AR全息HUD、3D全息脉冲LiDAR、头戴光场全息设备、全息半导体、全息云软件、全息汽车导航、元宇宙全息AR/VR设备、元宇宙全息云软件等专业领域,覆盖从全息车载AR技术、3D全息脉冲LiDAR技术、全息视觉半导体技术、全息软件开发、全息AR虚拟广告技术、全息AR虚拟娱乐技术、全息ARSDK支付、互动全息虚拟通讯、元宇宙全息AR技术，元宇宙虚拟云服务等全息AR技术的多个环节，是一家全息云综合技术方案提供商。