记得2016年前后,正是VR虚拟现实产业最如火如荼的时候,那时候各种品牌的大块头VR头显如雨后春笋冒出来。小编也曾用VR看过电影,玩过游戏,当时欣喜地认为这就是未来。但是没过一两年,VR之火似乎就突然消退了。 以Chinajoy的数据看,2016年参展的VRAR厂商还有70多家,到2017年就只剩下了20家,到目前,人们似乎很久没看到让人惊艳的虚拟现实产品了。 是虚拟现实产业不行了吗?其实并非如此,根据2019世界VR产业大会的报告,2018年到2023年,中国和世界的VR产业规模都会保持稳定的增长节奏,并且目前VR的概念、技术也在不断进化,目前主流已经是融合VR、AR、MR的XR(扩展现实)。 而XR正在低调蓄力,等待让产业规模进化到新层次的机会,这个机会有5G,也有AI,其实这两者是紧密联系的。关于5G对XR的赋能,此前IT之家已经讲过很多,而到了AI,可能有小伙伴就疑惑了,XR能和AI产生什么交集呢?今天我们就来说一说。当分布式AI碰上无界XR,这里有巨大的想象空间 我们先来想一想目前XR的痛点是什么,其实最关键的是两个:其一是设备笨重,其二,除了看看视频玩玩游戏外,能做的事太少,而且就是玩游戏也是傻瓜式的,画面差,人机AI傻。 而在5G时代,由于网络的高速率和低时延属性,很多运算和处理工作都可以交给云端完成,这有助于XR设备的轻薄化,而随着AI的加入,一些更复杂的运算也可以通过XR设备端和云端协同的方式来实现,从而让XR设备能干更多事。 例如在AI的辅助下,我们用XR眼镜玩游戏,画面可以更加精致,人机对战时,电脑也不会那么傻了。此外,我们以前在手机完成的很多事,也可以在XR眼镜里完成,例如戴着XR眼镜看地图导航,路线直接显示在地上,那是多么直观的体验;还有戴着XR眼镜,就可以识别万物,例如告诉我们某种花是什么花,某个景点叫什么名字等。这些都是XR和AI结合后,眼下很快就能实现的用例。 那么问题来了,我们需要怎样的AI来赋能XR呢? 说到AI,大家也许首先会想到智能手机上各种有趣的应用,例如人脸识别、拍照时的场景优化、语音实时翻译等等。 目前这些应用大多出现在安卓手机上,而在安卓阵营,这些功能大多又由高通骁龙移动平台的AIEngine提供。关于AIEngine,IT之家此前已经介绍过很多次,例如大家可以参考《释放5G潜力!通过高通,看懂终端侧AI的重要性》这篇文章进行了解。 可以想到的是,在XR平台,AIEngine仍然会发挥重要的作用,例如高通在去年年末推出的骁龙XR2平台上,就融入了人工智能引擎AIEngine,AI性能相比前一代提升11倍。 所以,在XR平台上的AIEngine就是简单将手机端的移植过去吗?显然不是,XR对AI能力的需求、功耗的限制等,和手机端都不同。况且即便是在手机侧,未来的AI方向也会和现在不同。 为什么这么说呢?其实,我们经常在讲,5G时代就像一张大网,将电视机、汽车、冰箱、洗衣机、空调、无人机、音箱、甚至电表水表等等海量设备,无数终端,都网罗在内,当然,也包括XR头显设备。 理论上,这些终端设备都应该拥有AI的能力,或者说都是智能的。只有这样,5G的万物互联才能真正构造全场景的智慧体验。 这么多的设备彼此联动,需要强大的AI运算能力,更何况,未来我们对智能的要求会越来越高,这这些不仅仅是靠终端上的AIEngine就能实现的。 我们所说的终端上的AI叫做终端侧AI,顾名思义,它的意思就是数据的采集、计算、决策都在前端设备本地进行,优点是隐私性高,可靠性高和时延低,缺点是AI性能有限。 与终端侧AI相对的是云端AI,它的数据训练、处理都是在云端进行,因此可以进行大规模的AI运算,但是相较终端侧AI会有时延。 5G万物互连的时代,我们要做到的,就是综合云端AI和终端AI的优势,让他们更好地协同。于是,分布式AI就产生了。 首先,我们要确保AI分布在无线边缘,同时,还要让边缘的海量终端随时能够以极低的时延触达到云。 简单说,就是让云靠近边缘的终端,将大数据训练以及时延不敏感的内容和存储在云端进行,而AI的具体执行交给无线边缘的海量终端上,两者在高速率低时延的5G网络中相辅相成,互相协同,让海量终端越来越聪明。 而高通就是分布式AI的先行者和践行者。他们拥有基于骁龙异构计算能力的高效硬件,包括CPU、GPU、DSPHVX,还有最先进的神经网络算法以及软件工具,在此基础上,高通还推出了自己的分布式技术架构,例如其中有一个技术就是在终端侧通过多台终端的分布式架构,进行人工智能系统的训练,形成一个边缘的云。再加上高通强大的5G网络,将终端侧AI与云端AI无缝的连接起来了。 在这些技术的加持下,高通就能够将边缘云和终端侧AI有效地结合起来,以积极的颠覆性方式,推动包括无界XR在内的各种终端的变革。 具体到无界XR,这时候的XR终端就可以通过边缘云在计算、存储、渲染和内容等各个方面得到增强,实现最佳的沉浸式体验和更多的颠覆性用例,例如直接用XR设备进行画面逼真的大型3A游戏,实时在线电竞,甚至是视频通话时直接渲染出对方的3D模型在眼前,仿佛面对面的交流,或者在更专业的领域,篮球运动员戴上XR眼镜,就可以实时模拟出赛场的队友进行战术演练,或者用XR实时分析运动员投篮姿势的准确性等等,带来巨大的想象空间。联动上下游,分布式AI无界XR变革各行各业 从上面的分析不难看出,XR、AI和5G其实三者紧密相连,梳理一下彼此的关系,应该是这样:5G高速率低时延的网络让分布式AI成为可能,而分布式AI驱动海量物联网终端向着更智能的方向进化,其中XR就是最典型、最先受益的终端案例,它和AI的结合可以给消费者以及不同行业更加智能、更加互联、更加沉浸式的未来,推动远程教育培训、医疗及设备维护等各行各业的变革。 这个过程中,必须要有一个角色能够把AI和XR融合起来,然后联动产业链的上下游,进而驱动各行业变革。高通,就是这个角色的积极扮演者。 例如高通推出的骁龙XR2平台就将分布式的AI技术带到了XR领域,从而帮助设备厂商、开发者开发出丰富多样的创新设备和应用。骁龙XR2是全球第一个同时融入AI和5G连接的XR平台,它的CPU和GPU性能相比上代均有2倍的提升,AI性能则提升11倍,同时它还是全球首个支持七路并行摄像头、且具备计算机视觉专用处理器的XR平台。 例如教育行业,在自然地理课上,当学生们戴上骁龙XR2平台的XR眼镜,头显就会实时感知学生周围的环境,然后根据环境特征将周围渲染改造成热带雨林环境,让学生们仿佛置身于雨林中,从而更深刻地了解到雨林的各种知识。类似这种用例离不开强大的AI计算机视觉感知能力和画面渲染能力,需要边缘云计算和终端AI的彼此配合才能完成。 在医护行业也是如此,当医生在做手术时佩戴搭载骁龙XR2平台的XR设备,就可以在视野范围内看到由XR眼镜提供的所有信息,包括病人的实时重要生命体征数据到基于病人检查数值构建的器官3D影像等等,这样医生就不用向过去一样频繁地转移视线,从而能将精力集中在手术上,提升手术的成功率。 甚至骁龙XR2的头显还可以在强大的AI学习能力加持下,视线物体探测和分类功能,帮助医生在手术过程中提前发现可能需要检查的部位。这在以前是难以想象的。 今天2月,高通就推出了基于骁龙XR2平台的XR头显参考设计,这个参考设计能够简化复杂技术,帮助设备商缩短研发周期,降低开发难度,更快推出对应的终端产品。 而很快在9月16日,骁龙XR2就在OculusQuest2终端上实现首次商用,相信随着接下来骁龙XR2在更多终端上出现,它能够进一步激发XR设备的无限潜力,慢慢地推进XR变革各行各业的进程。 除了在技术和产品上的努力,高通也在积极和开发者等XR产业的参与者建立紧密的合作,他们正在针对设备厂商的SDK进行优化,帮助技术人员充分发挥XR2平台等底层芯片的性能;高通还推出了QualcommXR企业计划(XEP),为优秀的XR行业开发者和技术人员提供专门的培训和指导,此外他们还建立了QualcommDevelopmentNetwork(QDN)开发者社区,在社区上,开发者们可以进一步了解高通在XR领域的技术路线和产品,更能直接获取一些开发工具和资源,帮助他们在XR平台上开发出更有创造力的应用。结语 5G具有变革行业和改善生活的巨大潜力,AI技术也将进一步增强XR服务和应用,将用户体验推向新的境界。我们相信,未来,XRAI5G的深入融合将驱动新一轮的产业变革,助力众多传统产业升级转型,变革娱乐、购物和学习体验,还将对教育、建筑、工业、医疗等行业产生深远影响。 在今年的高通XR生态合作伙伴大会暨第二届XR创新应用挑战赛颁奖典礼上,高通全球副总裁侯明娟如是说。这句话很好地概括了XRAI将会在未来迸发出怎样的产业变革力量,又会怎样改变我们的生活。而高通,正在凭借领先的技术实力和对产业上下游资源的整合能力,推动这个时代更快地向我们走来。相信在万物智能互联的将来,XR会迎来真正的属于自己的时代。