柳夜熙又更新了，虚拟人的底层技术是什么？

　　3条视频，增粉776万，获赞超千万。
　　12月12日，被上千万网友催更的“美妆博主”柳夜熙，在抖音更新了一条视频。
　　一条狭窄幽暗的街道，柳夜熙手撑一把油脂伞，走进一家店铺。电视机中出现一则8岁小女孩的“寻人启事”。
　　“怎么最近都是你在店里，你姐去哪了？”柳夜熙问。
　　“我姐啊她出去了。”阿一犹豫片刻后，回答道。
　　画面一转，阿一姐姐出现，在看到柳夜熙后她转身跑进一个充满电子设备的昏暗厂房，这里杂线铺满地面，无数个电脑屏幕上闪动着正在传输数据的大脑图形，8岁的小女孩正躺在床上，头上戴着仪器。
　　“你连孩子都不放过”，柳夜熙拿出手中的魔法笔，准备动手，阿一阻止，随后柳夜熙为他画上了看不见的眼影，姐姐现出原形，柳夜熙“收妖”成功，姐姐和她的女儿得救。
　　“柳夜熙，这只是个开始。”剧情结束。
　　尽管只有4分钟，但叙事流畅，画面感真实，充满了赛博朋克的味道和电影质感。
　　评论区，有人称赞“我竟然在抖音！看电影！！！”“白嫖这么高级制作有点不好意思”，还有人评论“元宇宙今天又涨了”。
　　值得注意的是，视频的下面，除了时下最火热的“元宇宙”，还打上了“脑机接口”的标签。
　　截至目前，有关“柳夜熙”“柳夜熙是谁”“终于等到柳夜熙更新”“柳夜熙特效”等相关话题在抖音上已有超过7。6亿次播放，都在挖掘和创作这个被抖音称为“中国第一个元宇宙博主”虚拟偶像背后的故事。
　　一夜之间，蹭上元宇宙快车的虚拟偶像，再次翻红了。
　　事实上，虚拟偶像并不是全新概念。从洛天依带货直播，到爱奇艺打造虚拟人物才艺竞演节目《跨次元新星》虚拟人物的出现，不仅为“Z世代”带来新鲜的互动体验，也给艺术家的创作过程注入新灵感。
　　但也有观点认为，柳夜熙在技术上并没有任何突破，之所以一夜爆红，是迎合了市场对于元宇宙概念的狂热情绪，属于新瓶装旧酒。
　　柳叶熙带来的讨论，和对元宇宙的认知延展。不少观点已经从运营角度讲清楚了，本文则试着从技术角度，还原柳叶熙的技术背景。
　　读完本文，你将了解：
　　1。她是如何被创造出来的
　　2。柳夜熙背后的虚拟人技术演进
　　3。虚拟人成型之后，如何进入元宇宙
　　虚拟人的“台下十年功”
　　虚拟人起源于日本动漫的角色发展，最早的虚拟偶像鼻祖要算2007年出现的“初音未来”。作为一个以语音合成引擎为基础设计的音源库，初音未来能唱无数首歌曲，和ladygaga同过台。
　　虚拟人中，二次元形象居多。如登上21年春晚的“洛天依”，B站网红“yoyo鹿鸣”，抖音爆红的“小狐狸NINICO”，屈臣氏代言人“屈臣曦”，都属于这一类，并且借助次元流量，都已成为热门IP，通过代言、商演、直播等成功变现。
　　2019年，哔哩哔哩甚至专门为二次元虚拟偶像举办了一场名为BilibiliMacro的线上演唱会。初音未来、洛天依以及作为虚拟主播的KizunaAI、白上吹雪等在演唱会的舞台上出现，瞬间引起轰动。
　　由于技术限制，超仿真虚拟人目前角色不多，大多以静态图片或者几秒短视频的形式出道。柳夜熙也仅仅128秒。
　　如走时尚路线的虚拟人物“翎”，外貌东方，身材出众，热爱国风，善京剧。这类有个性的虚拟KOL，一方面具有新事物的流量热度，一方面容易吸引大量次时代消费者关注，且不会有真实偶像的塌台风险，成为广告商的新宠。2020年5月出道，目前已签下多家大牌合作。
　　柳夜熙是开创性的角色，她实现了仿真虚拟人在短视频上的首次尝试。按照主办方的说法，这是一个2。5次元的形象设计，处于二次元动漫形象和三次元的真实世界人物形象之间的位置。
　　这类“超仿真”形象的后期开发过程非常漫长1。高精度原画设计；2。高写实3D建模；3。导入高水准的虚拟人引擎；4。高精度动捕；5。高精致的修帧渲染。每个步骤都耗时耗力，不懂行的人很难做好。
　　首先是3D建模，要做到高写实，除了皮肤，毛发的细节精细还原之外，难点在于如何做到表情自然，说话口型不失真。相较于原理相似的语音合成技术，将声音、口型、表情匹配适宜要难得多，很容易造成“僵硬木讷”的观感。
　　纯动画的特效设计成本高昂，所以，每个虚拟人的背后其实都有一个实时驱动的真人，这群动态捕捉演员和配音演员都称为“中之人”（驱动着虚拟形象的真人），将他们的言行嫁接到角色身上，是最常见的操作。
　　行动演员的动捕服里包含多个传感器节点，用于采集运动动作，手套里也会有十多个节点，用于采集手部关节动作。高精度的动态捕捉，一方面依靠背后中之人的表演技巧，另一方面要求技术能够将中之人的表演有效捕捉。柳夜熙的连贯动作也和背后演员分不开。
　　比如，为《泰坦尼克号》《头号玩家》等提供过特效支持的公司数字王国打造的教育路线的高仿真虚拟人“小艾”就是高精度动捕的作品。
　　“小艾”的制作以Momentum为核心技术，面部表情上运用了超高精度的眼球追踪，甚至可以捕捉到演员的眼球震颤；在头发处理上，能根据演员不同动作幅度，进行重力计算，同步摆动，逼近真实效果。
　　最后的渲染是所有动画设计不能绕过的重要一环，最终成品到底几分逼真，都靠这个过程的修饰，也是众所周知的耗时。
　　2019的科幻冒险电影《阿丽塔：战斗天使》，由《阿凡达》《泰坦尼克号》的导演卡梅隆操刀，讲述26世纪一个拥有机械手臂少女的战斗故事。为了效果逼真，后期渲染4。32亿小时，一度成为当时的热点新闻。
　　三万台电脑，800名技术人员同时工作，因为电脑高负荷运转发烫，甚至低温时能看见工作室有热气往外冒。
　　越是要求逼真，渲染过程要求越高。
　　仅仅完成一个128秒柳夜熙就需要涉及到这些复杂的技术。从本质上讲，她是一个出色的后期特效作品，就像视频下有一个7。7万赞的热评“不买票就能看电影了”。
　　不可否认的是，柳夜熙暂时不能和观众互动，属于剧中角色，类似于游戏中的NPC。而另外一种能够和观众互动，能实时反馈的虚拟人也在研究之中。
　　能独立思考的“真人”
　　齐耳超短发，碎刘海，高鼻梁，若隐若现的几点雀斑，一张大气的“国际脸”加上177的身高，模特形象呼之欲出。
　　她就是博采传媒设计的超写实虚拟人20岁的马当飒飒，英文名MadamZAZA。当你和她四目相对，你可能会觉得这位20岁的女孩就是真实的。
　　更惊喜的是，这是一个能够独立思考的虚拟人。比如可以和现场观众实时笔心，给受众带来全新的沉浸式互动体验。
　　马当飒飒正如电影《Her》中的萨曼莎，都是带有自我意识的虚拟角色，能与人类产生情感交互。飒飒背后由AI驱动，所以自带灵魂，而柳夜熙背后由“中之人”驱动，没有“中之人”的时候，只是一个静止的躯壳，这就是两者的区别。
　　要让虚拟人能够像真人一样兼具IQ和EQ，进行有逻辑、有个性的交互和反馈，目前的技术还在探索中。
　　为了给飒飒“长脑子”，博采传媒采用的是自主研发的超写实引擎与实时互动算法，由于技术的限制，她的“栩栩如生”也才展现一个小角，进一步的互动也在开发中。
　　除了背后驱动，两类人物在效果实现上也有区别。柳夜熙这类制作完成再发表的虚拟人，用的都是离线渲染技术，能够为了追求高精度不计时间成本，多用在电影的后期特效上。
　　若要像马当飒飒一样实时互动，也需要实时渲染，大量数据表明，延时控制在100ms以内，观众才能感受到声画同步。一般这种技术多用在游戏上，对设备要求高。
　　相对游戏，超仿真虚拟人对应的身体动画、表情动画、毛发模拟、布料解算、灯光反射模拟等一系列计算渲染需要更加强大的算力支持。技术尚在发展中，暂未有理想的角色面世，多停留在设想阶段。
　　如三星旗下StarLabs实验室在2020年CES上带来了此类智能“虚拟人”项目设想Neon。
　　在STARLabs的设定中，Neon外形酷似人类，主要出现在各类职场中。同时利用AI，在和人类的沟通交流中不断学习，持续完善角色的智能性。
　　清华大学的虚拟学生“华智冰”也是类似的例子。
　　据澎湃新闻，华智冰不仅会四种舞姿，可以根据音乐的急缓调整动作，还可以根据某个字作诗，并可以根据某几个关键词创作一幅画，甚至可以写一些短文章。
　　研究团队目前对“华智冰”的学习规划和Neon类似，都是先进行大量数据包的输入录入基础信息，然后通过AI进行自主学习，能自己生存。
　　虽然，“华智冰”陷入一系列“AI换脸”的舆论风波，但这种设计初衷是很好的。
　　这类离开了“中之人”，能够独立思考的虚拟人靠AI技术驱动，他们能够理解人类的言行举止，同时做出适当的反馈。
　　这类角色可以担任元宇宙时代中人机交互的接口，相当于互联网时代的APP的功能。
　　元宇宙中都是虚拟人
　　上述两种虚拟人角色，无论是“中之人”操控还是AI操控，都有他们的用武之地。
　　目前的个人虚拟人角色还只有少数明星拥有，比如：黄子韬、迪丽热巴、张艺兴等，这些也是具有商业价值的二次元角色。随着技术发展，会越来越普及。
　　元宇宙是和现实世界平行的存在，现实世界里长什么样子，元宇宙就会是什么样子。在这个世界中，每个人都会有属于自己的“虚拟人”。像《头号玩家》中展现的一样，个人穿上穿戴设备后，成为自己角色的“中之人”，进入元宇宙的世界。
　　至于AI操控的智能虚拟人，也能应用在元宇宙的许多人工服务领域。比如商场售货员，博物馆讲解员等重复性工种岗位，虚拟人可以比人类做得更加出色，而且永远不会抱怨，不会疲倦。人类则可以从重复劳动中解放出来，享受生活。
　　当下的大多数游戏，角色设定都是二次元风格，和真人还是有很大区别，沉浸感有所欠缺。元宇宙结合超仿真虚拟人，将角色外形设定为个人现实中的实际长相，或者自己的理想长相，都会提升角色的沉浸感，拉近和现实世界的距离。
　　如果我们现在想要在游戏中创建一个理想的角色形象，大多通过“捏脸”，本质是3D建模。
　　比如美国的捏脸平台Genies，是基于AI的虚拟形象设计平台。用户可以根据喜好设计自己的头部形象，整体角色呈现头大身体小的戏剧效果。
　　但这种操作有门槛，耗时长，并且常常捏完之后发现不像自己。就此衍生出了“游戏捏脸师”的行业，“兼职游戏捏脸师月入上万”的话题甚至在前段时间上过热搜。
　　据后浪研究所，一位95后广东游戏捏脸师表示，游戏捏脸数据需求量大，普通原创作者月入上万，优秀的创作者一个月能赚67万。
　　字节跳动也在今年9月上线了一款捏脸APP“Pixsoul”。
　　虚拟人成型之后，如何进入元宇宙，操作虚拟人，要从穿戴设备开始。
　　穿戴设备的门槛
　　目前已经有了一种可以算为元宇宙先导体验的产品协同办公的虚拟会议室。如Facebook打造的VR工作平台HorizonWorkrooms就是一个很好的例子。
　　先用VR设备扫描现实办公桌面，连上电脑，带好头戴眼镜。眼前会出现一个虚拟空间，键盘和电脑会和现实位置一样，且电脑屏幕上的内容已完全和现实同步。所有的与会同事，彼此之间在现实中或许相距很远，通过vr都能聚在一起，每个人拥有一个二次元化身。还配上了手势捕捉等功能，让人物形象更加生动。
　　但不少用户反应它的头戴设备很沉重。
　　穿戴设备的突破是元宇宙绕不过的技术门槛，甚至有的人佩戴VR眼镜会引起头部3D眩晕症等。针对这一问题，不少科技公司其实早已在探索的路上。
　　Micorsoft的HoloLens系列，整体设计简单，在向轻便方向发展，也得到了市场的认可。在今年4月的美国陆军招标中，微软中标，十年内交付超过12万副头戴式AR设备，合同总价值可能高达218。8亿美元，就是针对HoloLens系列的定制开发。
　　Facebook将上万人力投入在了ARVR业务上，扩展半导体和脑机接口的一系列专利。
　　苹果有计划在2022年发布首款穿戴式头显设备，不同于FB，Apple专注是VR和AR一体的头显设备，AR眼镜会和手机共存。
　　阿里也正在研究裸眼3D技术。即在不佩戴眼镜的情况下也能看到3D效果。
　　短时间内，柳夜熙火了，她的样子是否就是未来元宇宙中普通人的样子？随着技术的发展，人物到底能多逼真，到底能多智能，这个问题还难以回答，但虚拟人作为元宇宙的角色基础，它的重要性是毋庸置疑的。