从2016年发布以来,AR游戏《PokmonGo》就创造了无数的奇迹,不仅刷新了大众对AR体验的认知,还在商业上取得了巨大的成功,即使在全球遭遇新冠疫情之后,依然能让玩家在2021年投入约13亿美元,同比2019年还高出约4亿美元。 但手机屏幕既不是为AR而设计的,也不是AR的最终归属。 11月17日,在高通举办的2022年骁龙峰会上,不仅发布了基于骁龙XR2Gen1平台打造的骁龙AR2Gen1高通首款专门面向下一代AR智能眼镜的处理芯片,高通还联合《PokmonGo》开发商Niantic展示了AR头显的最新参考设计。 AR眼镜参考设计,图高通 根据介绍,该设计在前部采用了常规的AR眼镜设计,主体是超薄的透明显示屏幕,还配备了多个相对隐蔽的对外和对内摄像头以及一块AR协处理器,有明显的面罩设计以贴合面部。AR主计算单元则被安置在了后部,再通过头带连接前部的显示屏幕,无线连接模块似乎被放置在头带内侧。 同时,Niantic在一段AR原型机实机演示视频中展示了更多的细节,比如电池被明显放在后部,此外还配有一个手部控制器。 图Niantic Niantic在会上强调,AR眼镜或头显至少不应该超过250g重,并至少提供12小时的持续续航。要做到这两点,AR芯片需要变得更小,同时还要提供更低的功耗和更强的处理性能。 这正是高通在骁龙AR2Gen1上所做的,但比起现有的性能提升,高通为AR设想的技术路径更值得期待。 算力不够,手机来凑 一个客观的事实是,目前真正的AR眼镜还远未达到工业化和量产阶段。 现阶段存在一些AR头戴显示器产品,比如Nreal、雷鸟等,但更多只是作为一种观影设备,没有多少交互能力。而在光谱在另一侧,如微软HoloLens2和最近上市的MagicLeap2等,高昂的成本和较大的体积、重量都限制了它们在消费级AR市场的可能性。 目前在硬件技术上困扰AR设备的核心是两点光学显示和计算性能。后者更是要面对算力、续航和体积的不可能三角。高通在靠近这个目标,并且展示了一个颇具可行性的未来。 据高通介绍,骁龙AR2Gen1采用了多芯片的架构,由AR处理器、AR协处理器和无线连接模块组成,分布在AR设备的不同位置并起不同作用。对比骁龙XR2Gen1,骁龙AR2Gen1的PCB占用空间减少了40,AI性能提升2。5倍,同时功耗还降低了50,分布式也使芯片运行产生的废热不再聚集,从而实现更好的散热效果。 图高通 这些改进都让一个更轻便的长续航AR眼镜成为可能,或者用高通的话说:这使得AR眼镜可以舒适地长时间佩戴,并满足消费者和企业的需求。 具体到多芯片架构,其中AR协处理器负责从连接的摄像头和传感器中收集数据,支持眼球追踪和虹膜识别,由于在设计上就专注数据收集,功耗也得以降低。 AR处理器是主计算单元,高通表示AR处理器针对低运动(手部动作等)到光子(数据传输)的延迟进行了优化,同时支持最多9个并发摄像头,还增强了一系列感知能力,包括:专用硬件加速引擎,改善用户运动跟踪和定位;AIR加速器,减少手动跟踪或6DoF等敏感输入交互的延迟;投影引擎,以获得更平滑的体验。 但除此之外,很多人都会忽视骁龙AR2Gen1的无线连接模块。 骁龙AR2Gen1无线连接模块利用WiFi7连接AR眼镜与智能手机或其他主机设备,眼镜端收集的数据和感知结果6DoF、眼球和手势追踪等将传输到主机端,由主机端上的芯片进行画面渲染,再经由编码器及压缩,最终传输回眼镜端显示。 图高通 从数据流通的角度看,当用户使用搭载骁龙AR2Gen1的AR眼镜,AR协处理器会从本地传感器,如摄像头中采集大量本地数据,经由AR处理器计算处理,通过高通的FastConnect7800(WiFi7芯片)传输到搭载骁龙8Gen2的旗舰手机中。再由骁龙8Gen2进行画面渲染,并经过编码和压缩,回传至AR眼镜解码,最后经过重投影引擎并显示在AR眼镜的屏幕上。 高通宣称整个完整过程的延迟将小于:9ms。 高速低延迟的无线连接,已经可以让手机分担AR眼镜部分场景的算力需求了。当然,9ms的延迟还远远无法满足所有场景。高通指出,有些对延迟极为敏感的任务会直接在AR处理器上处理完成并显示在AR眼镜的屏幕中,比如股票交易、多人在线游戏等,其他更复杂的数据需求将被转移到搭载骁龙处理器的智能手机、PC等主机设备上。 不过,高通还是画了一张更大的饼,或者说描绘了更大的可能。 手机,也是AR的主机 就在《PokmonGo》推出的2016年,一段鲸鱼在体育馆高高跃起并落下的视频冲击了所有看过的观众。 图MagicLeap 当时AR行业尚处在高光时刻,微软HoloLens带来的震撼还没有散去,AR初创公司MagicLeap就带着这段视频和MagicLeapOne再次激起了我们对AR的期待与兴奋,不久后还拿到了谷歌和阿里等投资者共计超26亿美元的投资。 等到2018年首款MagicLeapOne创作者版真正发售,首批到手的媒体发现MagicLeapOne远远没达到他们宣传出的效果,缺点有视场角FoV小、亮度低、不够清晰但相比微软HoloLens,MagicLeapOne头显部分的重量只有前者的一半多一点316g,到今年发售的MagicLeap2,更进一步减小到248g,这很大程度上要归功于外置处理器盒子一个微型PC或者说异型手机,因为系统已经转向Android。 MagicLeap2的外置主机,搭载Android定制系统,图MagicLeap 但如果要面向消费级市场,这样的设计也导致很难将MagicLeap带到室外场景。高通的想法则是用高速低延迟的无线代替有线,用搭载骁龙旗舰处理器的手机作为主机,充分利用我们口袋里的高性能计算平台。 甚至更进一步,高通希望在2025年后实现完全的分布式处理,将AR眼镜的大部分算力需求分派给我们身边的各种智能终端,包括智能手机、平板、笔记本电脑、智能手表等。 事实上,普通用户在使用中不会关注计算处理的终端,就像用PC时我们只会关注显示器、键盘和鼠标,用手机更是只关注那块屏幕。算力在哪对用户来说不重要,重要的是交互和显示界面。 HoloLens2,图微软 算力的解放,不仅可以缓解AR眼镜续航和体积的矛盾,光学显示方案也会有更大的改进空间。而高通对骁龙AR芯片寄予的想法也是:彻底改变头戴式眼镜的外形,并为现实世界虚拟世界的组合开创一个空间计算体验的新时代。 诚然,即使是骁龙AR2Gen1距离高通描绘的新时代依然还很远,核心是无线连接和分布式技术的突破,但高通确实在一步步接近。当前的分体式AR眼镜几乎都采用有线连接设计,只有在投屏这类简单任务上支持无线,而高通在支持有线连接的阶段就明白无线才是未来,并有计划地推进AR眼镜与手机的低延迟无线连接。 这当然也是整个AR行业的共识,AR眼镜最终都是要朝轻量化、小型化的方向演进。但不同的是,高通认为实现目标的技术路径应该是分布式的多终端支持,而非在摩尔定律失效的背景下主动踏入算力、续航和体积的不可能三角。 题图来自Niantic。