范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文

VR巨头争相布局手势交互技术,但谈扔掉手柄还为时尚早

  万万没想到,今年春天 VR 厂商们为"一双手"卷起来了。
  仅 2022 年上半年,就有四家 VR 巨头对自家 VR 设备的手势交互技术 操刀改良。
  4 月 20 日,Meta 旗下的 VR 头显 Oculus Quest 2 手势交互版本迭代至 2.0,解决了手部定位丢失的问题。4 月 13 日,字节跳动旗下的 VR 品牌 Pico 宣布其两款企业级 VR 头显可以通过定制的手部追踪配件,提升手势交互体验。VR 厂商 HTC 也在今年 1 月发布了一款新款腕式追踪器,辅助预测用户的手部位置。
  ▲ Oculus Quest2 手势交互 1.0 版本和 2.0 版本在手部快速追踪方面的对比
  无论是裸手交互技术,还是手部追踪配件,用于 VR 设备的手势交互技术一直在不断迭代。同时,不少 VR 企业还在尝试寻找新的手势交互方式,比如说 VR 手套。
  5 月 6 日,荷兰 VR 手套制造商 Manus 宣布其新款采用磁力追踪技术的 VR 手套 Quantum Metagloves 开启预售。5 月 4 日,国内动捕技术巨头诺亦腾发布 Hi5 2.0 VR 交互手套。而早在 2021 年 11 月,Meta 就曾展现自家的 VR 触感手套模型,分享自己在 VR 手势交互方面的最新成果。
  ▲ 从左到右分别为 Manus、诺亦腾、Meta 的 VR 手套
  不仅如此,苹果、谷歌、微软等一些潜在 VR 玩家还获批多项与智能戒指有关的专利,试图将智能戒指打造为下一代手势交互的关键输入设备。
  手势交互技术是最基础也是最自然的交互方式,也是 VR 设备中主流的交互方式之一。一般来说,手势交互是指通过数学算法来识别人类手势的技术,包括图像获取、手势追踪、手势识别与分析等多个过程。
  其中,手部追踪和手势识别 是手势交互中较为关键的两个步骤。手部追踪是指准确地在 VR 头显中定位用户双手的位置,而如何精准地识别每个手指的动作,识别手的各种形态等属于手势识别。
  手势交互技术也暗藏巨大的市场空间。国际市场分析公司 Markets and Markets 发表报告称,2024 年"手势识别和无触碰感知"市场将达到 340 亿美元。
  VR 设备的手势交互技术有了哪些新玩法?厂商为何都在近期升级自家 VR 设备的手势交互技术?VR 设备的手势交互技术发展究竟如何?
  我们与诺亦腾 CTO 戴若犁、梦想绽放(爱奇艺智能)技术负责人史明以及 HTC 的技术负责人等多位行业人士深度交流后,试图找到答案。抛开手柄,VR 游戏可以裸手玩
  相较于其他移动设备,用于 VR 设备的手势交互技术进步较为缓慢。比如说,从 3dof 到 6dof 经历了近五年的发展时间,手柄交互到裸手交互仍处在初期阶段。随着技术不断进步,裸手交互也开始在不少消费级 VR 头显上普及 。
  Meta 曾在 2019 年发布手势交互 1.0 版本,并将裸手交互引入 Oculus Quest VR 头显,让用户可以直接在虚拟世界中看到自己的双手,并进行一些简单的交互操作。时隔 2 年后,Oculus Quest 2 拥有了手势交互 2.0 版本。
  此次升级主要解决了两大难题。一是解决了用户双手重叠时,手部追踪困难的问题。在 Quest 2 的手势交互 1.0 版本中,当用户的双手相互阻挡或重叠时,系统很难识别用户的手势动作。二是在用户快速挥动双手时,系统也很容易丢失对于手部的追踪。这两种情况的发生都有可能会造成双手从虚拟世界中突然消失。
  ▲ Quest2 手势交互 1.0 版本和 2.0 版本对比
  至于是如何解决这两项问题,Meta 在其公告中说明,基于"重新设计的计算机视觉和机器学习方法",新版本提高了手部跟踪的性能可靠性。但自从版本更新后,我们看到不少用户反馈到,尽管手势交互功能有了更好的体验,但是系统也出现了明显的卡顿。
  对此现象,戴若犁解释到 VR 头显处理计算的能力本身就比较有限,而 Meta 基于计算机视觉获取数据,并将一部分算力资源用来预测用户手部位置,这种方案无疑将会为 VR 头显带来较大的计算处理压力,也是"系统卡顿"现象的主要原因。
  HTC 也在今年 3 月推出了新款的腕式追踪器 VIVE Wrist Tracker,并且在去年年底升级自家的手部追踪版本。据 HTC 官网信息介绍,当用户将腕式追踪器戴在手腕上时,即使在一段时间内双手离开相机视野,系统也可以通过腕式追踪器的高频 IMU 数据和运动学模型预测手部的运动轨迹。
  HTC 的相关负责人还向智东西分享到,相比 VIVE Focus 3 控制器,VIVE Wrist Tracker 移除了按钮、触觉输入等零部件从而缩小电池尺寸,将控制器变得更小更轻。据介绍,HTC 的手腕追踪器比 VIVE Focus 3 控制器小 85%,重量轻 50%。
  ▲ VIVE Wrist Tracker 腕式追踪器
  我们可以看到,Meta 的裸手交互方案仍是计算机视觉为主,HTC 的裸手交互方案则需要依靠腕式追踪器等外设。前者能帮助用户快速、有效地体验裸手交互的乐趣,而后者通过惯性传感器提高一定程度手势交互的准确性和可靠性。面对不同的应用场景,不同厂商 VR 设备的裸手交互方案各有侧重。
  但裸手交互一定会给人们带来更好地体验吗?戴若犁在采访时说:"在技术成熟度尚未达到的时间点,将裸手交互这类人机交互新方式嵌入操作系统中,会给人们过高的期待。"
  "从操作成功率和触感反馈来说,手柄在乐趣以及操作准确性上要远胜裸手交互 。"他解释到,在人机交互领域,80% 的操作准确性和 100% 的操作准确性给用户带来的交互体验是完全不一样的。
  微软亚洲研究院网络图形组首席研究员童欣曾在 2017 年接受媒体采访时证实这一点。"当我手握手柄的时候,手柄不仅是一个输入设备,同时也是输出设备,它可以通过震动、力反馈给我一个输出的反馈。而当我空手在空气中挥舞的时候,我就失去了自己的输出渠道。"
  有限的计算消耗、较高的学习成本、较低的操作准确性等都是阻碍 VR 设备裸手交互技术发展的主要原因。但在交互体验上,裸手交互也将会给 VR 内容生产者提供更多的发挥空间。不少 VR 设备中,裸手交互作为一种辅助的手势交互方式。大厂们争着做的 VR 手套,B站 100 元搞定?
  为了在裸手交互带来的沉浸感和 VR 手柄提供的高准确性之间寻找到平衡点,VR 厂商们又想出了另一种手势交互方式 ——VR 手套 。
  目前,VR 手套存在比较多的形态,但是真正可以大规模量产和销售的 VR 手套主要分为基于惯性传感器和基于弯曲传感器两种类型。
  不同于基于计算机视觉手势交互的数据处理方式,以惯性传感器为主的 VR 手套将通过传感器收集大量的手部定位和手指交互的数据。而以弯曲传感器为主的 VR 手套则测量精度较低,由于对于贴合程度的要求较高,其可穿戴设备的舒适度也较低。
  我们有机会抢先体验到 Hi5 2.0 VR 交互手套。一副 Hi5 2.0 VR 交互手套共有 12 个惯性传感器,每只手佩戴六个无线传感器,分布五个手指和手背上。同时该套装还将配有一个数据收发器,可以插在电脑或者 VR 头显上传输数据。
  ▲ Hi5 2.0 VR 交互手套
  打开传感器、安装传感器、固定好手部追踪器,选择校准界面,Hi5 2.0 VR 手套的校准方式比我们想象的要复杂一些。
  在体验过程中,我们发现 Hi5 2.0 VR 交互手套能提供较为精准的手势识别过程,比如说手部的位置和手势的变化基本都能实时显示变化。据官网介绍,该设备的姿态计算帧率从 180fps 提升至 500fps,研发人员还通过算法提高了一定的抗磁干扰程度。
  ▲ 诺亦腾研发人员正在校准 Hi5 2.0 VR 交互手套
  除此之外,研究人员也在尝试不同的 VR 手套设计方案。
  2021 年 11 月,Meta 公布了其研发 7 年的 VR 触感手套原型,这款 VR 手套用微型气阀取代了电机,通过复杂的控制系统调整手指上的充气仪器,形成拟真压力,从而模拟各种触感。
  ▲ Meta 触感手套
  荷兰 VR 手套开发商 Manus 的 Quantum Metagloods VR 手套则是基于磁力追踪技术打造而成。
  与诺亦腾选择用算法去减轻天然环境造成的磁干扰,保证追踪稳定性的方案不同,通过磁力追踪的手势交互方案需要两个设备协作完成,一个设备内设 xyz 三个方向的线圈,同时 VR 手套中也将内含一个线圈,两个线圈将以高频振动的方式产生磁力线,两条磁力线互相切割,从而获得手的位置变化。
  尽管 VR 手套能提供较为准确的手势动作捕捉,但 VR 手套的价格成本决定了其只能面向小部分极客玩家和商用市场 。
  据悉,Meta 手套的原型成本约为 5000 美元(约 33400 元),而 Manus 的 Quantum Metagloods 的预售价为 9000 美元(约 6 万元),诺亦腾的 Hi5 2.0 VR 交互手套,售价为 9800 元人民币。
  ▲ 从左到右分别为 Manus、诺亦腾、Meta 的 VR 手套
  Meta 曾将研发 VR 触感手套的项目描述为"登月计划"。"当我们开始研发 VR 触感手套时,我们希望打造一款可以大规模量产,消费者买得起的消费设备,让人们在任何地方都能体验到虚拟世界。"Meta 的项目负责人说:"但这几乎不可能。"
  在调查的过程中,我们还发现B站上有不少 UP 主自制 VR 手套 ,这些价格的成本从 100 元到 350 元不等,部分 VR 手套甚至拥有力反馈功能。我们看到这些自制的 VR 手套可以用于一些简单的 VR 游戏中,可以做出拿、捏、翻转等一些简单手势动作,但其显示延迟情况也较为明显,时常会出现一些鬼畜场景。
  ▲ B站 UP 主们尝试自制 VR 手套
  面对 VR 手套的巨大价格差距,一位从事 VR 手套的行业人士分析认为面向 B 端市场的 VR 手套成本主要在研发投入、零部件以及人力资源成本上,价格根据市场需求而定 。这意味着可能做一幅普通 VR 手套的价格并不高,但做一副可以面向商用场景、提供准确精度的 VR 手套需要较高的成本。
  尽管 VR 手套能兼顾 VR 设备的沉浸感和手势交互的准确性,如何降低 VR 手套的价格将是 VR 手套发展必须要解决的难题。想要拥有自由的"双手"?要从算法、工程、交互设计攻克难题
  从裸手交互和 VR 手套交互两种方式来看,VR 设备的手势交互技术发展正在不断更新迭代,此前面临的一些困境也逐步寻找到了解决方法。但整体而言,用于 VR 设备的手势交互技术还存在不少难点 。
  到底是什么阻碍了我们扔掉 VR 手柄,无法采用新的手势交互方式?国内 VR 头显奇遇系列的研发人员、梦想绽放(爱奇艺智能)的技术负责人史明在接受智东西采访时给出了三个要点。
  首先是算法层面 。目前用于 VR 设备的手势交互技术基本采用深度学习技术,因此研发过程中需要依赖大量的业务场景标注数据。而基于手势的三维数据获取成本高,并且难以保证数据质量和一致性。
  ▲ 手势交互的关键点识别
  其次,手势交互技术在工程优化方面比较复杂 。手势交互技术需要以一个优异模型为前提,需要做小模型推理演绎。而推理过程中,研究人员既要保证算法的精确度,又要保证数据的实时高效性。
  最后是在交互使用方面的设计。VR 研发人员需要在设计手势交互相关操作时规避视觉死角问题 ,同时还要为用户提供较好的交互体验。
  关于手势交互的设计这一点,曾担任 Facebook Reality Labs 设计师刘晓雨也曾在采访中提到手势交互技术很容易在使用期间出现遮挡情况,设计手势交互动作时还需要考虑用户的学习成本。
  除此之外,微软亚洲研究院网络图形组首席研究员童欣还曾提到对于手势识别而言,机器很难分清输入状态和非输入状态 。与键盘的按键交互方式不同,机器很难去分辨你摇手的动作,是做出一个挥手的手势,还是玩累了想要甩手休息。
  总体而言,用于 VR 设备的手势交互技术整体上主要面临两个方面的难题。一方面是哪一种手势交互方式能兼顾沉浸感、准确性并且成本低,能用于所有的 VR 设备。另一方面是,如何根据 VR 设备的基础配置打造出最适合这款设备的手势交互功能。
  可以预见的是,在裸手交互技术能获得较高的精度、VR 手套成本下降之前,手柄将仍是 VR 设备手势交互的主流方案之一。结语:手势交互技术或成 VR 体验升级关键
  目前,用于 VR 设备的手势交互总共分为三个方向:现有的手柄交互方式、正在逐步成为主流的裸手交互方式、和仍在小众阶段的外接可穿戴设备的交互方式。但值得注意的是,这三种交互方式并非替代关系,是可以实现共存。
  在手机、电脑快速发展的时期,无论是键入,还是触屏的交互模式,都曾给人们带来新的交互体验,手势交互同样会给 VR 设备体验和 VR 内容生产带来新的变化。
  手势交互的技术发展总会有无穷无尽的方向,但被时代所留下的手势交互技术终究是少数,用于 VR 设备的手势交互技术将会如何演进,或许时间能告诉我们答案。

IBM推出AutoAI允许企业人工智能模型开发自动化由于IBMWatsonStudio(之前的DataScienceExperience)等产品,部署AI应用和服务并不像以前那样具有挑战性。于2017年首次亮相的WatsonStud小爱蓝牙音箱随身版开启预约售价49元IT之家11月19日消息小爱蓝牙音箱随身版现已在小米商城开启开启预约,售价为49元。小爱蓝牙音箱随身版整机重量为52g,和一枚鸡蛋的重量相似。长按或者短按机身底部的语音激活按钮可以讯飞同声字幕功能上线,追剧自带中英双语实时字幕IT之家5月26日消息根据讯飞官方的消息,讯飞翻译机3。0针对线上跨语言交流场景,新增同声字幕功能,官方称可以实现追剧自带中英双语实时字幕。IT之家了解到,讯飞称讯飞翻译机3。0既讯飞推两款语音转写新品识别率达98,299元起IT之家5月25日消息今天,科大讯飞智能录音转写赛道正式发布2款新品讯飞智能录音笔A1讯飞会议宝S8,预售价格分别为299元和589元,这是自2019年5月讯飞首款智能录音笔上市后小米有品上架众筹新品水槽净洗机与AI录音笔IT之家8月13日消息日前,小米有品相继上架了多款众筹新品,包括墨案AI录音笔与美仕杰水槽净洗机。墨案AI录音笔墨案AI录音笔支持蓝牙BLE5。0,内置300mAh电池,配备16G智能音箱大混战赔本的买卖何时盈利?天猫精灵,把空调关了小度小度,今天天气如何小爱同学,打开窗帘如今,智能音箱不再是一个边缘化的产品,随着产品价格越来越低内容越来越丰富功能越来越智能,琳琅满目的智能音箱产品逐渐进入大RealmeTV仓库谍照曝光证实屏幕规格为43英寸IT之家5月14日消息Realme即将推出的电视产品已经被多次曝光,早在二月份的时候,我们就已经在BIS认证平台上看到了它的身影。最近,这款电视也获得了谷歌和蓝牙SIG平台的必要认小米自研超级拟人技术,雷军喊出了180000米粉的名字IT之家8月14日消息在小米手机十周年之际,小米将3。7亿元返还给小米手机1首批用户,每人赠送1999元无门槛红包。据小米公司公众号消息,雷军还为初代小米手机用户录了一段话,而实际苹果HomePod上季度出货量仅为160万台,市占率不增反降IT之家2月21日消息外媒StrategyAnalytics近日一份智能音响报告指出,苹果在去年2月推出的智能音响HomePod第四季出货量较上一季增长45,为160万台。不过市占相约跨年12月31日起,小米小爱音箱将支持召唤微软小冰IT之家12月26日消息微软小冰大家都不陌生,作为小娜的妹妹,小冰一直以精灵古怪的形象示众。不久前小爱同学更新3。5版本之后,新增支持QQ音乐,召唤小冰尝鲜版上线,但是小米官方并没报告AppleWatch继续引领可穿戴市场,本季度出货1620万台IT之家3月5日消息外媒appleinsider引用IDC数据,表示苹果继续领跑可穿戴设备市场,AppleWatch,AirPods和Beats耳机的销售帮助苹果保持其在2018年
给出3个词,AI直接作画!OpenAI发布DALLE2。0,掌握多种画风,分辨率提高4倍大家还记得去年1月OpenAI发布的120亿参数魔法模型DALLE吗?当时,DALLE的画风是这样的只要阅读文本,DALLE就能根据文本的内容自动生成栩栩如生的大师级画像。因此,当斯坦福研究员用AI分析电池图像中的原子活动,以此降低电池的消耗量斯坦福大学的研究人员利用人工智能分析原子级图像中的大量数据,回答了一个悬而未决的问题传统锂离子电池会受到一种新兴的可充电电池的冲击。如今的可充电电池是一大奇迹,但远非完美。因为它们美国防部新项目曝光军事行动决策过程中引入人工智能技术北京时间3月31日消息,现代军事行动要求指挥官快速作出复杂的决策,人工智能可以助一臂之力。美国国防部高级研究计划局(以下简称DARPA)启动一个新项目,目的是在决策过程中引入人工智一夜爆红的AI语言处理工具能一句话总结论文,但仍难辨是非1月20日消息,据报道,近来,AI语言处理工具tldrpapers在推特上得到大量学者推荐。tldrpapers运用AI语言处理领域(AIlanguageprocessing)的前曾学忠小米手环销量累计达1。4亿只,小米手环7是有史以来最强的小米手环IT之家5月20日消息,今日上午,小米官方宣布,全新小米手环7将于5月24日1900举行的Redmi新品发布会正式亮相。随后,小米集团高级副总裁手机部总裁曾学忠宣布,小米手环销量累高通CEO安蒙Meta公司VR头显OculusQuest2已出货1000万台11月17日消息,高通首席执行官克里斯蒂亚诺安蒙(CristianoAmon)在该公司2021年投资者日上表示,Meta已经售出了1000万台虚拟现实(VR)头盔OculusQue269元起,华为手环7标准版NFC版明日零点开售轻薄设计两周续航IT之家5月9日消息,华为手环7于4月28日发布,号称华为迄今为止最薄的智能手环,厚9。99mm,重16g,标准版售价269元NFC版售价309元,将于明日(5月10日)0000正谷歌首款智能手表PixelWatch真机图片泄露感谢IT之家网友肖战割割埃了洛的线索投递!IT之家4月24日消息,据AndroidCentral报道,有网友在美国的一家餐馆发现了一块丢失了的智能手表,从图片来看这可能是谷歌的第一华为WATCHGT2ProECG版推送11。0。8。26更新支持睡眠期间心率过低提醒及周期测量提醒感谢IT之家网友锦衣猫的线索投递!IT之家4月9日消息,据IT之家网友反馈,华为WATCHGT2ProECG版现已推送11。0。8。26固件更新,新增智能诊断自检测和远程检测功能,成都智算中心正式上线总投资109亿元,算力平台算力相当于15万台高性能PC感谢IT之家网友菜鸟N号MissBook娃哈哈纯净水的线索投递!IT之家5月11日消息,5月10日,东数西算国家一体化大数据中心成渝枢纽节点的样板工程西南地区最大的人工智能计算中心害怕被机器人抢工作?教师律师和物理学家是最安全的职业北京时间4月16日消息,据国外媒体报道,虽然让机器人取代人类的工作听起来像是科幻电影中的情节,但最新一项研究警告称,未来的职能将发生很大的变化,甚至许多人的工作将真的被机器人替代,