英伟达让AI演技再上台阶语音驱动照片说话,表情狠狠拿捏
Pine 发自 凹非寺
量子位 | 公众号 QbitAI
输入一段台词,让照片"演戏"又进阶了!
这次的AI直接让"演技"整体上了一个台阶,表演生气、开心、可怜……各种情绪都不在话下。
并且,口型、眼神、头部动作也都让这个AI狠狠拿捏住了!
甚至还能调节喜怒哀乐的程度。
这是英伟达最新推出的一款AI,名为SPACEx (此SPACEx非马斯克的SpaceX) ,全称是可控表达的语音驱动肖像动画(Speech-driven Portrait Animation with Controllable Expression) 。
其实,在英伟达推出SPACEx之前,已经有不少语音驱动照片的AI问世,那相较于之前那些AI,SPACEx有什么优势呢?人脸动作更稳定,更注重细节
此前,最常使用的语音驱动照片的AI主要有三个:PC-AVS、MakeItTalk和Wav2Lip。
但这三个AI都或多或少有些缺陷之处,并且要么只能对口型,要么就只是整体面部控制的比较好,多个功能往往不能兼顾。
先来说说PC-AVS,它在对图像和语音进行处理时,会对输入图像进行严格的剪裁,甚至还会改变姿势,此外,生成的人脸动作很不稳定。
而MakeItTalk,在对口型方面效果不是很好,有时候生成的视频中还会出现空白的地方。
Wav2Lip的功能则比较单一,它主要是配音AI,只改变唇部的动作,唇部之外的面部表情毫无变化。
而这些问题,在SPACEx身上通通都被解决掉了,话不多说,直接看看它们之间的效果对比!
可以看出,无论是细节的口型、眼神,还是整体的面部动作,SPACEx都会更加自然一些。
而细分到各个具体的功能,SPACEx都集成了哪些功能呢?
下面这个表格给出了答案,情绪控制、标记面部landmark、头部转动和动作生成,SPACEx都能很好地兼顾,不会像以往的模型顾此失彼。
值得注意的是,SPACEx生成视频的质量也整体上升了一个台阶,以往同类型的AI最高只能达到384的分辨率,而SPACEx这次已经达到了512X512。
兼顾这么多功能还能生成高质量视频,SPACEx又是怎样做到的呢?具体原理
其中,很大一部分功劳是face-vid2vid贡献的,它是英伟达两年前公布的一个AI算法。
它不仅能压缩视频的流量,还能保证视频的画质。
并且,face-vid2vid还能让视频中的人物随意扭头。
不过它要求输入的是一个视频,而SPACEx则是一个图片,它俩又是怎么关联到一起的?
这得从SPACEx生成视频的过程来看,主要分三个阶段。
第一个阶段可以概括为Speech2Landmarks ,即从输入的语音中来预测各个音节所对应的标准面部landmarks。
在预测的过程中,还会插入对应的情绪标签。
预测好面部landmarks后,来到第二步:Landmarks2Latents ,输入各个图像的face-vid2vid关键点,以控制整个面部表情。
然后将这些关键点对应到上一步输出的标准面部landmarks上。
最后一步便能通过face-vid2vid生成器来生成视频了。
话说回来,当然SPACEx也不是个全能选手,当输入有较大的头部旋转时,现有的方法表现就不是很好了。
不过还是值得一试的,感兴趣可以戳下文链接~
论文地址:
https://arxiv.org/pdf/2211.09809.pdf
参考链接:
https://deepimagination.cc/SPACEx/
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
阿里最新研究依靠AI识别普通CT能查出早期食管癌食管癌是我国的高发癌症之一,早发现能显著提高病人的存活率,但临床医学界一直缺乏较好的早期筛查手段。阿里巴巴达摩院联手国内多家医院,首次将AI与普通的平扫CT结合,能够有效的识别早期
山西回来胖三斤,除了刀削面,18个晋北特色菜让人大开眼界头条创作挑战赛每到一个地方,我都会到当地的餐厅市场去看看,饮食也是文化的一部分。从不同地区的饮食特色,不仅可以了解当地物产,也可以通过生活习惯去感受风土人情。前几次到贵州宁波广西,
赏读天凉好个秋作者桃园野菊昨夜,秋雨潇潇,缠绵了一夜,雨打梧桐,清冷了一宿。清晨,凉风飒飒,寒意丝丝,哦,天凉好个秋。俯身拾起落叶一枚,甩去水滓,细细端祥,一种无言的触动涌上心头。虽然季节只是一
亚洲女飞人王春雨添新职澎湃新闻记者岳怀让亚洲女飞人王春雨添新职。芜湖发布微信公众号9月23日晚间消息9月22日下午,经过全体代表的共同努力,共青团芜湖市第十六次代表大会在圆满完成各项议程后胜利闭幕。大会
宏光MINIEV新车型明日上市敞篷版GAMEBOY新色马卡龙新款IT之家9月24日消息,现有媒体曝光了上汽通用五菱旗下宏光MINIEV家族的几款新车,包括GAMEBOY新配色车型新款马卡龙车型,还有敞篷车版本,均将于9月25日正式上市,而新车今
倒计时100天99100记录一个人最好的活法迷茫时读书,焦虑时运动,独处时蓄力,闲暇时修身。2022年很快过去了,抓住时间的尾巴,完成最后的目标,做最好的自己。1。运动10000步2。解决事情时,要有优先选择
裁员降薪失业,今年该何去何从?我们都太急切的想要一个答案了。想要风光的学位瞬间的博学想要意气风发想闪着金光走向喜欢的人。但现实告诉我,操之过急便会败北。它要我等,要我耐得住不断延长的时间线,要我交付出足够的努力
孩子确诊眼病后他们决定趁孩子们看得见,带他们环游世界记者王晓莹编译当加拿大人塞巴斯蒂安佩尔蒂和妻子伊迪丝勒梅发现四个孩子中有三个患有一种慢性疾病可能慢慢失明时,他们作出一个决定在孩子们视力尚好的时候,带他们去看世界。四个孩子中三个确
为什么有些人的口干这么严重?尤其是晚上口干心慌失眠口干,嗓子干。尤其是晚上口干嗓子干,必须得起来喝水,本来睡眠就差,再起来喝水,紧接着又小便,就更睡眠差了。睡眠一差,精神状态就不好,尤其是很容易心慌气短,胸闷了。这是很多老
逆光与顺光逆光与顺光刘卫玲逆光与顺光纪念生命的升华专注梦境焊接成长隐蔽的光芒背后播撒无人知的汗水与不知足的善良世界太小装不下心中的不满收拾行囊逆流而上是坚定而坚固的匆忙执著世界太大继续忽冷忽
水煮肉片按这个步骤做,麻辣鲜香肉质嫩滑,赶紧收藏分享水煮肉片是起源于四川自贡的一道著名的家常菜,在饭店里面一般都会看着有这道菜,以香辣软嫩易嚼著称,是下饭菜之一。今天分享家常版水煮肉片味道也巴适得板。推荐菜谱水煮肉片食材里脊肉300