MiniResearch小视联合南理工发表SCI,3D人脸重建如何更逼真?
近日,小视科技联合南京理工大学发表的新论文 "3D3M: 3D Modulated Morphable Model for Monocular Face Reconstruction" 被国际顶级期刊IEEE Transactions on Multimedia (TMM)录用 。
TMM期刊由IEEE计算机协会主办,是全球范围内计算机图像视频处理领域的权威期刊,属于SCI一区期刊。
该论文针对单目3D人脸重建设计了一种可调制3D形变模型(3D3M)。该模型能够基于单张图像,实现更具细节特征、更为逼真细腻的3D人脸重建效果。
值得一提的是,这让我们在人脸重建技术上寻找到了新的创新灵感。在未来,该项技术成果也可广泛应用于虚拟化妆、面部特效、人脸风格化 等领域。
问题的提出
3D人脸重建的目标,是从图像中提取出人脸的身份、表情、纹理、光照、姿态等信息,并重建出人脸的形状及材质。
作为多媒体应用中的一项重要技术,从单张图像进行3D人脸重建颇具挑战性,其难度在于深度信息缺失所导致的重建歧义。
目前,大多数现有方法依赖于传统方法拟合的标注或强先验信息。相比之下,我们提出了一种新颖的可调制3D形变模型(3D3M) ,以自监督的方式从单目图像中学习密集的形状对应关系。 技术方案
模型整体框架分为sparse shape correspondence 和dense shape correspondence两部分。
第一部分中我们采用循环一致性约束重建图像和输入图像的稀疏关键点、像素。
在第二部分中,给定一批输入人脸图像,3D3M会对其面部属性(id、表情、纹理、光照等)进行编码,然后随机重组特征以生成新的人脸图像。重组特征采用可微渲染器进行渲染,这使得我们能够利用密集的形状对应关系和重建像素一致性进行自监督地学习。
两个部分能够端到端地进行训练。定量和定性实验结果都证明了3D3M能从单目图像构建逼真的高质量3D人脸重建效果 ,在3D人脸重建和人脸对齐任务中优于现有技术。 效果对比
我们在MICC Florence 、BU-3DFE和AFLW2000-3D数据集上对比了现有最好模型,3D3M模型精度均达到了SOTA水平 。
从重建效果上来看,3D3M模型能够提供精准的形状、贴合的纹理和细腻的表情 , 对侧脸和遮挡有较好的鲁棒性 。
结语与展望
作为多媒体应用的重要基础能力,3D人脸重建展现出巨大的应用潜力。相比传统的稀疏关键点,对于人脸的精细建模能够提供前所未有的丰富细节。此外,随着短视频、视频电话的普及,移动端基础算法的重要性逐渐凸显。
在该论文提出的算法理论基础上,小视AI研究院结合知识蒸馏等策略打造轻量级人脸重建模型,能在同等精度下实现移动端实时重建,提供超过3万个超精准密集关键点 ,满足各类视频特效的需求。
随着AR、VR、元宇宙等相关应用日趋广泛,3D视觉成为人工智能领域的前沿热门研究方向,其中蕴藏着巨大的商业价值,使用前景亦十分可观。凭借已有的技术积累,小视AI研究院未来也将在大规模场景、通用3D物体重建等研究领域持续探索。
自古逢秋悲寂寥隐藏的秋季养生提示最近一直在调理身体,研究了中医调理,发现所有的自我调养都不可背离自然规律。自然界变化是循序渐进的,春生夏长秋收冬藏,秋天是万物收获的季节,人体出现阳消阴长的过渡时期。秋季养生中的饮
湖北十堰古银杏惹人醉古银杏树与美丽乡村相映成景孙凌玺摄航拍古银杏树披上黄金衣孙凌玺摄古银树由绿变黄,进入一年来最佳观赏期沙正秋摄一串串银杏果挂满枝头沙正秋摄10月26日,湖北省十堰市茅箭区大川镇卡子村
常吃久冻的肉有致癌风险?冻了1年的肉还能吃吗?冷冻肉怎么冷藏民以食为天,食品安全不可忽视,它关乎人们的身体健康,稍有不慎就会危及生命!近期疫情反复,人们都会比较焦虑和恐慌,尤其是现在郑州的情况相当严重,让人不得不提前采取措施,储备更多的生活
青云科技2022年三季报毛利率大幅增长中证网讯(王珞)10月28日晚,青云科技发布2022年三季报。前三季度公司毛利毛利率呈现出持续上升的良好态势,整体毛利同比增长501。51,主营业务毛利率10。94,同比增长9。6
她比朱玲玲更豪横!出身豪门,一婚嫁豪门,二婚再嫁豪门生下两子香港曾盛行一句话哪个女人不想活成朱玲玲。这是因为朱玲玲两次都嫁给百亿富豪,堪称一朵人间富贵花,她的两任丈夫在香港都非常有名20岁时嫁给霍英东的长子霍震霆,50岁时嫁给罗鹰石的四子罗
共建国家级产教融合示范样板,科大讯飞工程中心及公共实训中心在渝揭牌高校与科技企业产教融合,会碰出怎样的火花?10月27日,科大讯飞工程中心及公共实训中心揭牌仪式在重庆财经学院产教融合实验园举行,校企联合推动重庆人工智能人才培养和产业发展。工程中心
金秋十月色彩之美铺画祖国的大地,世间万物被披红挂黄,美景真多秋日生活打卡季金秋十月,是一个金色的世界。色彩之美铺画了祖国的大江南北。不仅如此,这个季节里的世间万物都被披红挂黄,色彩缤纷,美景可真多。如果在这江山如画的大地上,又遇上了美丽的云
湖南株洲国际会展中心位于湖南省株洲市清水塘片区的株洲国际会展中心,总建筑面积达46。8万平方米,是一个可提供6万平方米净展面积以及城市综合配套功能的会展综合体。设计通过利用株洲的铁路轨道优势,由会展中
生活就是一边嫌弃着,一边离不开在生活中往往会出现这样的情况,心里明明嫌弃着同事或朋友的某一个方面,但是还是愿意与他她一起出去吃饭散步聊天等,就因为同事或朋友在某个方面,他她会容忍自己。在亲人相处之间也会有这种情
电子烟参照甲类卷烟标准,全国平均成本利润率暂定为10南都讯记者程洋10月25日,财政部海关总署税务总局联合发布了关于对电子烟征收消费税的公告(2022年第33号,以下简称33号公告),对电子烟消费税政策进行了明确。自11月1日起,对
绘王X10上手体验一键同步纸质笔记到手机,兼顾数位板功能工作以后,虽然用电脑和手机代替了部分笔记功能,但我还是最喜欢用纸质笔记本手写记录。喜欢纸上一笔一划出来的真实感觉,喜欢一有灵感就抽出纸笔一泻而出的连贯体验。然而纸质笔记并不方便保存