Metaverse降临,如何打造头号玩家?实时音频不可或缺
"进语音,开麦!"相信很多游戏玩家都对这句话深有感触。不管是打PC电竞《堡垒之夜》、《守望先锋》、《DOTA2》、《英雄联盟》,还是用手机玩《王者荣耀》、《和平精英》甚至狼人杀,"游戏麦"都是双手被占用的玩家之间主要的沟通方式。以音频为基础向外延伸出巨大的音视频社交娱乐需求,在这种沟通方式的背后,是以实时音视频互动为基础的新一代互联网虚拟社交。
堡垒之夜游戏界面
图源:3DM
在互联网诞生之前,人们的娱乐、社交都是在真实世界中完成的。互联网诞生后直至今日,人们的生活转变为半真实半虚拟——一部分生活、工作、娱乐在现实中实现,另一部分则在网络上完成。同时,网络正在逐步覆盖更多的真实生活方式,可以预见,下一代互联网模式将把人类生活拆分成一个真实、一个虚拟的两个平行空间,也就是所谓的Metaverse。
Metaverse是Meta+Verse的组合,也就是"元宇宙",它被定义为"未来互联网形态",笔者认为未来VR/AR将是Metaverse的承载终端。经过Roblox上市估值暴涨、巨头纷纷入局后,Metaverse概念逐渐为人所知。
以当代人的世界观解释Metaverse,更贴切一点的说法就是类似电影《头号玩家》中"绿洲"游戏一样,在未来的互联网世界中,人们会拥有虚拟形象,能够在虚拟世界中拥有和现实世界一样的"人生",一样生活、社交、工作、娱乐。
构建理想中的Metaverse,重点是如何打造一个与现实生活平行的、体验几乎无差异的虚拟世界,这其中涉及建模、定位技术、手势识别、脑机接口等各类VR/AR底层技术,除此之外极其核心的还包括沟通方式,也就是高质量、低延时的实时音视频互动技术。由于Metaverse将创造的是一个虚拟的平行世界,未来的人们将会花更多的时间在Metaverse上,这就像现在的我们已经离不开手机了一样。在这一前提下,VR产业的发展也就变成了不可阻挡的趋势。
实时音视频技术
将是构建Metaverse的关键技术之一
牢牢把握美国下一代互联网用户的Roblox近期引爆了Metaverse概念,腾讯、Facebook也不甘落后,而巨头对Metaverse的关注都共同指向一个终极——社交。但无论是手势识别还是脑机接口,对人类来说都无法真正替代面对面的交流。可以说,Metaverse最重要的就是与现实世界无差别的互动体验,而实时音视频技术可以提升用户在虚拟世界中的沉浸感。
VR/AR行业一直强调的"沉浸感"是一种微妙的个人感受,它实际上是用户的眼、耳、口、身多重感官的综合体验,用户在用眼睛、手脚感受逼真、炫酷的虚拟世界的同时,还能通过低延时、流畅的实时音视频与虚拟世界中的其他真人玩家或者虚拟NPC实时沟通,实现彼此处于同一空间进行面对面交流的体验。借助实时音视频技术,未来你或许可以像《头号玩家》里的沃兹一样,与来自全世界的成千上万的VR玩家在同一个具备强社交性、高度沉浸感、实时互动的Metaverse虚拟世界中开启欢畅聊天、组队冒险之旅。
图源:网络
正如前文所说,一些大厂已经开始重视实时音视频互动技术并积极布局Metaverse领域,同样的,VR/AR厂商也逐渐开始重视实时音视频互动技术在VR/AR领域的应用。日前,HTC VIVE虚拟生态大会上,HTC 发布的ISV合作伙伴计划中就有全球实时互动云开创者和引领者——声网Agora的身影。那么,声网Agora有何技术优势,联手HTC又会为VR/AR技术的发展带来什么变化呢?
落地10余行业100多种场景
月均用量超400亿分钟
声网Agora 有何优势
简单来说,HTC VIVE ISV开发者计划就是搭建一个开发商到企业之间的桥梁,一方面,为企业客户拓展更多端到端的解决方案组合,另一方面为独立开发者创建了平台,提供更多资源和结构化支持,帮助ISV加快VR解决方案的产出,并赢得更多商业机会。
图源:网络
作为首批参与ISV计划的企业,声网Agora成立于2014年4月,在实时互动音视频领域深耕多年。开发者只需简单调用API,30分钟即可在应用内构建多种实时音视频互动场景。声网Agora API 已经赋能社交直播、在线教育、游戏电竞、IoT、AR/VR、金融保险、医疗、企业协作等10余行业,共计100多种场景。
随着VR/AR技术从理论走向落地应用,声网Agora也逐渐意识到实时音视频技术对该领域的重要性。声网Agora对于VR/AR场景的定制化解决方案不仅保持着其实时音视频技术一贯的高质量、低延时、弱网对抗、高安全性等优异特性,同时还支持跨网跨端互动,实现全终端互联互通。
在VR/AR中,如果要让用户相信,这是一个真实的空间并沉浸其中、不出戏,那么对音频"空间感"的要求很高。值得一提的是,声网的音频编解码专利技术,能够支持全方位多声道的立体声——这也是VR/AR实现"沉浸感"的关键一环。
要实现完全沉浸,就要模拟人的五官感受,即视觉、听觉、嗅觉、味觉、触觉。受限于技术发展,目前仍只能实现部分沉浸,即视觉和听觉模拟。视觉部分通过分辨率提升来达到更清晰的效果,而听觉模拟则需要借助环绕立体声,也就是我们通常所说的全景声。
而声网Agora的360 环绕立体声功能,拥有真实的方位感、距离感,让用户在虚拟世界实现"听声辨位"、"听声识距",这一技术的应用,也会从实时音频互动的角度,进一步提升VR/AR内容带给用户的沉浸体验。
加速布局
声网Agora实时音视频技术
于VR/AR领域落地
在沉淀技术的同时,声网Agora也同步在探索VR/AR领域的落地场景,并积累了诸多应用实践。
据了解,AR产品和服务提供商亮风台旗下HiLeia通讯平台、AR+AI企业级服务商亮亮视野发布的AR眼镜与人机协作平台AR眼镜GLXSS ME(Multi-Edition)均采用了声网提供的实时音视频解决方案。
图源:亮风台
想要实现身临其境的体验,让用户流畅地在自己的AR眼镜中完成语音、视频沟通,如远程专家与一线工人之间的协作,技术人员和维修人员的协作等等,意味着对实时通讯中的音视频高清晰度、实时性以及稳定可靠程度有着更高的要求。
声网Agora的实时音视频技术拥有专门针对弱网环境的算法和拥塞控制算法,保证在80%丢包下音频通话流畅,70%丢包下视频通话流畅,为用户带来更高效的远程协作体验。
此外,SD-RTN 是声网专为实时互动而创建的软件定义实时网,覆盖了 200+ 国家与地区,拥有超低延时、抗弱网、高并发、高可用等特性,全球端到端网络优质传输率超过 99%,延时中位数76ms,能够有效保障AR智能设备中的视频通话超低延时体验。
在5G+AR加速落地的风口下,声网Agora的实时音视频服务,作为5G应用的重要组成部分,助力亮风台的AR行业解决方案,在智能制造、远程医疗等应用场景中更好的实现商业落地。
针对AR智能硬件电池、CPU受限的问题,声网Agora也在多方面进行了优化,包括编码算法、降噪算法、帧率和分辨率的优化算法,推出了专为智能设备定制的IoT SDK,可以真正做到低功耗、占用空间小,接口丰富,满足个性化适配的需求。
此外,声网还在去年推出全球首个可以跑在RTOS上的RTC SDK,也是业界最小的full-featured RTC实现,包体积300K以下,内存占用2MB,CPU占用30MIPS,适合超低功耗、快速启动、成本敏感的IoT场景。
Metaverse 仍在技术积累期
声网Agora入局
将夯实VR/AR底层技术"地基"
当下,虽然全球科技、互联网企业陆续加入到炙手可热的Metaverse战局中来,但距离真正的Metaverse实现仍有一段距离,目前依旧处于技术积累期,而VR/AR也将是脑机实现之前承载Metaverse的主要终端。
从PC时代到移动时代,再到被称为"下一代计算平台"的VR/AR时代,人类社交的核心诉求并没有发生变化,只是在每一代终端变革中,人与人之间的距离不断拉近,虚拟世界中的沟通、交互方式越来越趋向真实。
声网Agora 的合作客户之一
(图源:声网Agora)
实时音视频技术作为构建Metaverse的底层核心技术之一,VR陀螺在与诸多VR/AR内容开发者的交流中发现,在音视频互动技术方面,目前大家使用的基本都是开源SDK,虽然使用门槛低,但很难保证使用过程中的稳定性。
且此前VR/AR产业对于该技术缺乏关注,导致能够提供专业解决方案的企业只是凤毛麟角。此次声网Agora联手HTC布局VR/AR应用,于声网Agora自身来看是挖掘全新领域、扩大落地场景的机遇,而对于VR/AR产业来说,则是为底层技术夯实了"地基"。
2021年,VR/AR行业看到了不少新技术的发展,包括定位技术、手势识别等,甚至脑机接口也已进入普通用户视野、开始探讨商业落地可能性的阶段。在Metaverse大放异彩、VR/AR技术重获关注、行业加速奔跑的今天,声网Agora和其强大的实时音视频技术的加入,也将有效推动未来虚实融合世界的加速到来。
挑战极寒模式!猜猜暴风雪里会有哪些意想不到的情况和平精英描边战神铃铛敲响,又是一年圣诞节啦!各位有收到圣诞礼物吗?没有收到不要紧!鸡仔在这里给大家送礼物啦!我们的官方漫画和平精英描边战神在12月25日将爆更三话!!!看过漫画的小
新天龙八部破晓计划门派技能调整天龙八部主播醉暮近日在社交平台爆料称马上对慕容,少林,明教技能改动,后期还会加强。炎龙无双新增效果对血量低于20目标释放必定暴击纯阳无极重做增加10火属性攻击持续10秒状态持续期间
CFHD幽灵计划带来飞天遁地模式,CFer速来预约MerryChristmas!又是一年一度的圣诞节,不知道屏幕前的各位,有什么圣诞安排呢?不如来了解一下手持高科技硬核武器,体验一波立体战场吧!12月25日,穿越火线高清竞技大区(
哈利波特手游圣诞冬日聚会将迎来尾声!霍格沃茨跨圈神秘之旅开启哈利波特魔法觉醒上线至今,可以说是收到了众多玩家们的好评而圣诞节作为魔法世界的重要节日之一,大家也是期待了超级久那哈利波特手游作为自带有求必应屋的典范,更是全面开启了线上线下都圣诞
梦幻西游手游召唤兽全红,这个义气龙很强大梦幻无限玉,感兴趣私信小编义气龙是龙宫另外一个称呼,为什么要这么叫他了?龙宫是梦幻西游手游里面一个法术输出门派,伤害稳定秒的多是他的门派优点!在野外怪副本时很多队长是非常愿意带上龙
美国与日本的游戏战争0hr芯片行业的战争已经打了很久。美国之所以要对半导体行业咄咄逼人,不仅仅是因为商业,也不完全是政治,而是标准权的定义。在这个信息时代,所有行业都要受到半导体的影响,只要底层逻辑改
光遇白雪斗太美了,三条裤子两顶帽子,搭配出女神范光遇白雪斗太美了,三条裤子两顶帽子,搭配出女神范前言大家好,我是林克。每日分享游戏电竞情报攻略玩法等。说实话很忐忑,前几天,分享深渊季的新斗篷,说斗篷在飞行时,质感和手感特别好。就
超鬼也能拿MVP,德华开发全新信誉分保分思路,折磨队友成就自己说起吕德华相信大家第一时间想到的关键词就是下饭信誉积分,经常看德华直播的小伙伴应该都看过德华无能咆哮摔手机然后打1V1刷信誉积分的名场面,关于信誉积分德华绝对是全网最有心得的主播,
热血传奇为什么现在传奇版本那么多?如果我们谈论热血传奇游戏,我想我们都知道些什么,对于80后来说,这是他们当时玩的游戏,而对于来说,这是渣渣辉广告宣传的魔力。这个游戏是中国网络游戏历史上最流行最经典的游戏,为什么会
你还记得对游戏最初的热爱吗?这两天,DOTA2小Ti比赛落下了帷幕。由刀圈主播Zard牵头举办的纯民间刀斯林狂欢典礼的冠军最终由网易黑豚队拿下。从最初出于想扭转Ti10老干爹战队落败后,扭转cn刀塔风气的尝试
LPL各位置最低伤害,五人加一起不如4396高,小虎贡献一半多自从厂长的瞎子打出了知名的4396点伤害以后,4396这个外号就一直跟着他。但是直到后来大家才发现,原来4396的伤害不算低了,而LPL各位置的最低伤害,加起来都不如4396高。首