育碧中国数据实验室总监AlexisRolland元宇宙的存在

　　封面新闻记者陈彦霏
　　1992年美国科幻大师尼尔斯蒂芬森在小说《雪崩》中这样描述元宇宙（Metaverse），戴上耳机和目镜，找到连接终端，就能够以虚拟分身的方式进入由计算机模拟、与真实世界平行的虚拟空间。
　　30年后，这个概念再次进入人们视野，已是让人们感到未来已来。先有《头号玩家》票房大火，后有全球最大的社交软件平台Facebook（脸书）将公司名称改为Meta，其创始人扎克伯格表示，元宇宙会是下一个互联网篇章。
　　游戏行业作为元宇宙的先行者和试验田，被广泛认为是元宇宙的最佳突破口，也是最有可能率先实现元宇宙概念落地的应用场景。被誉为元宇宙第一股的游戏开发平台Roblox在纳斯达克上市第一天市值超过400亿美元，相比上市前一年的估值上涨10倍。
　　如今，游戏行业对元宇宙的理解和运用如何？11月16日，封面新闻记者采访了育碧中国数据实验室总监AlexisRolland。
　　育碧中国数据实验室总监AlexisRolland
　　封面新闻：您认为元宇宙是一个怎样的世界？
　　AlexisRolland：在育碧，我们将元宇宙定义为增强的虚拟世界，玩家变身个性化的虚拟形象进入这个与现实世界平行的世界中，并且可以做们在现实生活中可以做的一切，例如玩游戏、听音乐会、以及创作。
　　我们认为，元宇宙的存在主要依赖于六大要素。首先是具备社会属性，元宇宙为玩家提供了一个社交场所，玩家能够进行互动，甚至取代和补充现实生活中的社交。其次是拥有持续性，元宇宙的运行不依赖玩家的存在，可以自行运作。再者，元宇宙促进用户生成内容，玩家可以通过简单易操作的创作工具，参与数字世界的创建，在一定程度上，元宇宙模糊了玩家与创作者之间的界限。元宇宙还是各种媒体行业并存之地，也就是所谓的媒体融合；在这里，可以邀请玩家现场体验跨媒体体验例如从音乐到艺术再到电影。元宇宙还具备自有经济体系，玩家可以在这里挣钱，并且获得让其他玩家重视和认可的机会。最后是可扩展性，元宇宙依赖于技术的可扩展性，以让大量的用户能够聚集在同一台服务器上。
　　封面新闻：能不能分享下目前在游戏领域对元宇宙的建设有哪些探索？
　　AlexisRolland：虚拟主播和内容创作者的兴起，都像是在为元宇宙做准备。他们为自己配备相对昂贵的硬件，并创建复杂的虚拟形象，这些都需要3D模型和动画领域的技能。其中的挑战之一是虚拟形象的面部动画。拥有一张逼真的虚拟面部需要语音和它所承载的情感之间的完美匹配，而面部动画应该是嘴唇、眼睛、正面等。
　　在电子游戏的背景下，一般需要以多种语言为不可控的角色制作动画，可以想象若以每种语言去录制所有对话台词并拥有特定的完美匹配的面部动画，成本非常昂贵。育碧的LaForge团队为此开发了一个解决方案，我们称之为语音匹配。大体的思路就是从语音中自动生成嘴部的动画。它基本上将包含对话台词的音频文件输入，然后输出音素序列。音素是不同语言中的声音单位，我们可以将特定的嘴形映射到这些音素上。通过音素序列，我们可以重现动画曲线以自动为嘴唇制作动画。
　　《孤岛惊魂》中的动物
　　我们仍有改进的空间，但在元宇宙的背景下，这种技术可以用来自动为虚拟形象做嘴部动画，而无需使用操作复杂的带有面部摄像头的大耳机。
　　除开面部动画，还有身体动画。传统的动作捕捉需要特定的基础设施或硬件来录制演员的3D运动。但是在学术界中有一个非常热门的研究课题，叫做姿态评估，它包括直接从2D图像生成3D姿态和形状信息。
　　育碧中国在野生动物方面做了很多工作，我们长期参与《孤岛惊魂》系列的开发，为游戏开发了具有标志性的动物。为动物制作动画比为人类制作动画更困难，所以我们一直致力于这个名为ZooBuilder的研究项目，它从对人体姿态的研究中找到灵感，其总体思路是能够基于视频为四足动物生成3D动画。由于缺乏数据来训练机器学习的途径流程，这对制作动物动画来说更是一个严酷挑战，为此我们利用上了为游戏专门创建的现有关键帧动画数据库。我们构建了一个端到端的途径，将最初为人类动画开发的多个模型结合起来，并为美洲狮重新训练了这些模型。
　　育碧游戏《孤岛惊魂》
　　而对于元宇宙，这种技术可以使创作者更轻松地创建动画片段，不过，要为虚拟形象制作动画还有很多的工作要完成。
　　传统来说，为一个角色制作动画需要构建我们所谓的动画图或动画树。图中的每个点都是一个动画片段，根据玩家的指令输入，角色就可以一个动画接一个动画的进行表现，比如，从步行循环到跑步循环或跳跃。为了让这样的动画看起来自然且流畅，我们需要上一个动画行为的最后一帧与下一个动画行为的第一帧相匹配，否则动画成效达不到逼真流畅的效果。
　　解决此问题的传统方法就包括去添加更多的动画行为来让整个执行平滑过渡。但是你可以想象到这样成本很容易变得昂贵，我们添加的动画越多样化，它变得越复杂，维护起来就越困难。因此，目前克服这一挑战的一种盛行的方法就是运动匹配。
　　育碧中国的数据实验室团队在育碧软件中采用了一种新的技术手段，灵感来源于运动匹配，我们称之为学习运动匹配。我们用一个神经网络取代了搜索，这个神经网络可以根据角色的站位和其它输入来输出这些动画帧。这种技术可以做到和传统的运动匹配一样的效果。相比之下，学习运动匹配在内存方面的要求仅是传统方法的十分之一。
　　育碧游戏《刺客信条》
　　我们运动机器学习在动画领域的开发和创新实际上只是一个开始。通过结合运用自动生产管线生成嘴部动画；用视频生成动画的技术；以及用机器学习来改进现有的动画编程和合成，长远来讲，这种技术将简化创作者和玩家的工作。
　　【如果您有新闻线索，欢迎向我们报料，一经采纳有费用酬谢。报料微信关注：ihxdsb，报料QQ：3386405712】