机器之心专栏 作者：上海科技大学等 让数字人拥有一双灵巧的双手。 随着元宇宙概念的提出，虚拟数字人等新兴技术的不断发展，人们通过在虚拟世界中分别还原人体的不同部位并加以组合从而实现数字孪生。如何让数字人拥有一双灵巧的双手便成了一大难题。在真实世界中，我们的手有骨骼、肌肉、肌腱等多个解剖学结构。然而传统的手部模型只专注于外表面皮肤建模，骨架结构也是由简单的关节点连线构成。这样的建模方法并不能重现逼真的虚拟手。 针对这个问题，一个虚拟手建模的解决方案——NIMBLE 模型由解剖学的角度提出，NIMBLE 开发团队建立了一个全新的参数化手部模型，模型包含骨骼、肌肉、皮肤和外表面贴图，拥有更精细的皮肤材质纹理，可以轻松完成各式各样的手势，真实还原手部肌肉状态。 NIMBLE 模型是多学科交叉融合的产物，使用 MRI 技术采集数据，作为参与单位之一的上海科技大学 MARS 实验室孵化的数字人底层技术公司影眸科技研发的高精度扫描系统为手部模型提供了更为精细的贴图与纹理，正是这种多方面的协同创新得以让如今的 NIMBLE 模型真正意义上实现了对人手部分的完美模拟。 项目主页：https://reyuwei.github.io/proj/nimble 数据集 要实现这样的解剖学建模，就一定要有对应的医疗数据。考虑到核共振（MRI）在临床上经常被用来诊断和治疗手部疾病，该研究使用临床 3T 核磁设备采集了高质量的 MRI 手部三维影像数据集。该数据集包括 35 个对象的共 200 个核磁图像，共覆盖 50 个不同的手部动作。为了准确地区分骨骼、肌肉和皮肤，该研究在原始 MRI 图像上也做了标注。 MRI 数据地址：https://github.com/reyuwei/PIANO_mri_data 除了 MRI 数据，该研究还用光场设备采集高质量手部 diffuse、normal 和 specular 贴图。通过贴图插值，实现了对皮肤颜色和纹理的建模。 模型定义 仿照人体参数模型 [SMPL] 和手部参数模型[MANO]，NIMBLE 模型也是由模板模型、LBS（linear blend skining）和 blend shape 构成的。SMPL 地址：https://smpl.is.tue.mpg.de/MANO 地址：https://mano.is.tue.mpg.de/ 模板模型分为三部分，分别是骨骼、肌肉和外表面，其中肌肉和外表面模型用四面体建模。 算法流程 训练模型的流程分为模型配准（registration）和参数学习（parameter learning）两个部分。 其中模型配准是为了将数据统一成相同的拓扑结构，参数学习是将同拓扑的数据作为目标函数去优化模型的参数。 为了在模型配准中捕捉到肌肉和皮肤的非刚体形变，该研究用四面体模型来建模肌肉和皮肤。与三角面片的模型不同的是，四面体模型能够更方便地计算模型体积，也常应用于非刚体物理仿真。该研究在模型配准中就利用了 neo-hookean 弹性模型。他们将其作为一个物理约束应用于模型配准当中，借此保证了模型形变时体积不变，达到了更准确的配准结果。 下图展示了将模板肌肉配准到 MRI 分割出的肌肉的结果。注意配准后的肌肉厚度增加，并且排列更加紧密。 从配准误差的直方图可以看出，误差基本在 2mm 以内。 在参数学习的过程中，由于 MRI 数据的数量有限，研究者还借助了 [MANO] 模型的点云数据来扩充运动空间。通过在多个不同模态的数据集上迭代优化，最终构建出 NIMBLE 模型。与仅基于外表面的传统手部模型相比，NIMBLE 以数据驱动的方式实现了对手的内外部解剖结构统一建模。此外，模型还可以作为一个网络层应用于深度学习，以进行逼真虚拟手的生成和手势识别等多种任务。 实验 该研究从 pose、shape 和 appearance 三个维度验证了模型的 compactness 和泛化（generalization）能力。 从几何建模上，该研究和外表面模型 [MANO] 做对比。 (a) NIMBLE 在变形过程中保留了更多皮肤细节，而 MANO 的结果过于平滑。 (b)(c) MANO 在形变时没有考虑内部结构，因此用简单的方法为它加上内部结构后会出现奇怪的肌肉和骨骼形变以及不真实的皮肤凹陷，而 NIMBLE 保持了解剖学上正确的和物理上合理的变形。 从外表建模的角度，该研究和贴图模型 [HTML] 模型进行了对比。 (a)(b)分别是两个模型数据集中的手部纹理贴图，(c)(d)是在两个模型的贴图空间中随机采样的纹理。显然该研究的模型能够保留更多细节，并且法线贴图进一步实现了手背上肌腱凸起的效果。 HTML 地址：https://handtracker.mpi-inf.mpg.de/projects/HandTextureModel/
23爆冷被淘汰！欧冠8强诞生，切尔西晋级，尤文出局北京时间3月17日，欧冠最后2场18淘汰赛进行，结果切尔西21做客逆转里尔，并以总比分41淘汰对手，晋级八强。在另一场比赛中，尤文03爆冷，总比分14惨遭淘汰，无缘八强。里尔12切吴尊全家回汶莱窝豪宅隔离！12张生活照网震撼比我不隔离还好记者陈芊秀综合报导艺人吴尊去年（2021）带全家人飞往大陆，一边接陆综工作，又带妻儿到处旅游，一度传出要移居上海，打算为儿女找当地学校就读等，不过待了100天后，已于2月中旬回到汶唐嫣，一生悬命傻白甜一生悬命傻白甜？刘诗诗吴奇隆的离婚疑云闹的沸沸扬扬。虽说两人双双辟谣了，但吃瓜er还是觉得无风不起浪，准备再观望观望。要是这对也出事了，同批小花里可就剩唐嫣没离了唐嫣罗晋的画风和其刘亦菲乡间骑自行车！侧颜迷人养眼，油菜田旁喝咖啡太接地气今天凌晨，刘亦菲于个人社交平台上晒出几张出去游玩时拍的照片，从照片中我们可以看到刘亦菲站在放眼望去全是油菜花的田野前，而她戴着墨镜，那柔顺的头发随风飘扬，画面极度美观和和谐。同时她潘嘎之交潘长江否认灌醉茅台董事长，老戏骨为何堕落成笑话在今年315的日子中不单单是曝光了一些黑心产业链同样在娱乐圈中也有着一些明星塌房了比如偷税漏税的邓伦还有一位卖假酒的老艺术家潘长江可以说潘长江这一次翻车确实是遭遇预料的一件事情了毕王宝强借钱交税第一人！黄渤说他不简单，冯小刚后悔捧红他在邓伦偷税被罚1。06亿而被送上热搜后，人们想起了娱乐圈的清流王宝强。当年他离婚时钱全被卷走，可即使身上只有一万块，他坚持借钱也要给国家交税。那时王宝强和马蓉的爱恨情仇，可谓是霸屏为什么有的男人看起来年轻，是因为这几个原因毛孔粗大是油多细纹是干燥斑点是日晒黝黑也并非都是遗传总是不注意脸部卫生就易起痘护肤是年轻最直观的表现。这些护肤常识听起来好像很麻烦，但也有简单就可以变年轻的方法。护肤也并不是保持年小米着急了！年轻人的第一台电视Vidda，出道即巅峰提起智能电视，很多人想到的可能是小米，小米号称是年轻代产品杀手，但是最近年轻人的第一台电视Vidda商标竟然被注册了，而且不是小米，最新的商标公告信息显示，该商标注册于2021年8年轻人的口腔护理新方程YaWhite近年来，随着互联网生活蓬勃发展，人们的起居饮食发生了巨大的改变。Z世代的年轻人，更崇尚小而美的精致生活理念。与此同时，口罩下的我们对于口气的侵扰更为明显。对于口腔护理，年轻人的选择今年一裤子火了，叫盖住一半鞋！显瘦时髦，5060岁穿更年轻今日好啊一个女人最好的活法，便是心有暖阳，不丧失希望，不惧怕风雨。生活不易，不如意的事，时常发生，但尽管身处困境，也要不乱于心，豁达从容，乐观向上。心若向阳花盛开，人若向暖清风徐来0比1到3比2！马龙绝境爆发铁血复仇疯狂怒吼，对方苦笑摇头对阵台北的林盷儒，马龙打出了一场漂亮的翻身仗，不仅是因为逆转晋级，而且还因为成功复仇。要知道，马龙虽然作为国乒一哥和双圈大满贯得主，但是在过去几年却连败于林盷儒拍下。如今他终于铁血