魔镜魔镜告诉我 我的心情怎么样 坐在电脑前说话 电脑中的数字人就能 识别你的所有情绪 我校学子给出了肯定的答案 日前，我校学子孙文浩、彭华东、沙书杰、邢卓雅、李彦达在武晓光、郭天文老师的指导下，凭借作品《基于多模态的元宇宙数字助手——魔镜》在2022RoboCom机器人开发者大赛信息技术与工程创客赛道全国总决赛中获得一等奖(RoboCom机器人开发大赛是教育部认可的56项全国性大学生学科竞赛之一）。 人类的情绪极为复杂，共有27种不同的情绪，包括愤怒、厌恶、恐惧、快乐、悲伤、惊奇和中性七种基础情绪。面对当今快节奏的生活，人们或多或少都会有愤怒、焦虑等不良情绪，当这些不良情绪无法及时消解时，便容易滋生各种生理和心理疾病。基于此，孙文浩等五位同学设计制作了一款能够感知人类情绪的数字人形象助手——＂魔镜＂，用户只需要坐在电脑面前，打开摄像头与麦克风，对着＂魔镜＂程序说话，＂魔镜＂就能够通过其声音与视频数据进行情感识别，电脑中的数字人随即会做出相对应的表情，帮助用户感知自己的情绪。 团队将项目分为四个执行步骤施行，即制作＂魔镜＂的表情驱动、基于视觉的元宇宙情绪感知、基于听觉的情绪感知以及最终产生的多模态情绪判断。团队选择了比动漫人物、动物在表情复现上更为精细的数字人写实形象作为建模方案，而实现表情驱动则需要对真人的眉毛、眼睛、鼻子、嘴巴等70个特征点进行标定。 ＂在采集数据的过程中，我和孙文浩同学作为模特需要模仿各种各样的表情，然而做出来的表情还是有些别扭，这对腼腆的我们来说可太难了，这个过程也为团队增添了不少乐趣。＂团队成员沙书杰笑着说道。 想实现基于视觉的元宇宙情绪感知，还需要对采集到的人脸表情进行标注分类，在网络结构模型方案的选择上，团队通过实际场景测试，得出LeNet-5的准确率为70％，而AlexNet的准确率高达95％的测试结果，并最终选择AlexNet网络结构模型。 ＂模型最终测试的准确率和网络模型有着直接关系，比如模型的层数不同，那么它的识别能力以及精度都是不同的。除此之外，超参数的选择也会影响到模型的识别效果。＂孙文浩补充道。 ＂想要辨别一个真实的人的情绪，光靠视觉辨别是远远不够的，我们可以增加声音这一模态来判断人的情绪。＂武晓光老师和郭天文老师在此基础上又向团队提出了新的优化方案。团队通过处理时域信号得出语音频谱图，从而实现基于听觉的情绪识别。 ＂语音频谱图的语音数据集选自CASIA汉语情感语料库，它是由中国科学院自动化所录制，包括四个专业发音人，生气、高兴、害怕、悲伤、惊讶和中性等六种情绪，共4800句不同发音。＂团队成员彭华东介绍道。 如此，＂魔镜＂便可以基于视觉和听觉这两个模态对人的情绪进行更深层次的感知。在两位老师的指导下，该团队还完善了数字人细腻化表情呈现、精细化报告设计等问题。 目前，＂魔镜＂在功能上已经实现了对情绪的准确判断，可以在人机交互的现实或虚拟场景中帮助计算机或虚拟机器人感知、理解人的情绪，并针对不同的情绪进行音乐推送，在心理健康诊断、情绪舒缓等场景中实现应用价值。未来，＂魔镜＂有望在体量上转至嵌入式平台，实现设备的轻量化。同时，该团队还将加入更多模态，对人的情绪进行更深入地探索，从而使＂魔镜＂能够更综合地感知人的情绪并预测可能存在的心理疾病，达到提前预防与控制疾病的目的。 ▌党委宣传部融媒体中心 ▌ 来源 | 计算机科学与技术学院 采写 | 杨筱奕 张馨文 编辑 | 李雯雯 值班编辑 | 杨紫檀 责任编辑 | 韦玮
爱的二八定律秦文宇不靠谱？婚后暧昧成瘾，却被秦施一招制服杨幂爱的二八定律文罗小可以前在读经济学的时候，就对二八定律非常感兴趣，如果说金钱遵循着二八定律，那么感情世界也有这样微妙的存在。热播都市情感剧爱的二八定律中，杨幂饰演的女主角秦施对美国女演员曾与200名男性有染，1947年遇害被抛尸荒野，500人自首文丨大大怪巨怪编辑丨大大怪巨怪前言1947年，美国好莱坞女星伊丽莎白被人残忍杀害，死前曾遭受到了凶手残忍的虐待与性侵，之后尸体更是被砍成两半抛尸荒野。而根据事后警方的调查，伊丽莎白历史上的神意外！骑兵竟俘虏了一个舰队？盘点12个出乎意料的事件当涉及到流行的历史人物和事件时，狂热的历史爱好者们，可能会觉得他们看到听到或读到的一切，都是他们应该知道的。通常，当相同的故事在我们的一生中反复出现时，以至于我们会在脑海中把它们归吴亦凡事件全过程借选MV女主角为由，物色新对象时隔两年之久的吴亦凡案在今天终于宣判吴亦凡因诱奸，强奸多名女性，其中还有未成年少女，被判十三年有期徒刑，并驱逐出境网友纷纷表示大快人心，公道自在人心，天网恢恢疏而不漏吴亦凡一审宣判韩国女星孝敏的前男友，黄义助是个什么样的人物？2022世界杯最近卡塔尔世界杯正在如火如荼地进行中，在最近两天的比赛中，梅西领衔的阿根廷，弗里克带领的德国，都惨遭滑铁卢，分别输给了沙特阿拉伯和日本，堪称本届杯赛目前为止最大的冷门63岁卡塔尔莫扎太后穿红色战袍好嫩，戴200万胸针，成全场最美2022年11月21日，63岁的卡塔尔太后莫扎在世界杯开幕后的第一天亮相时，穿上了一套非常喜庆的龙袍，俨然成为了全场最美的女人。这套喜庆的战袍由红色和绿色组成，像这样艳丽的颜色，穿真实历史一千年前的大宋王朝到底是什么样？提起封建王朝，大部分人心里浮现的应该都是生产力低下的农耕社会，而对于其中城里人的生活都不甚了解，今天小编带大家去看看千年之前大宋王朝的城市社会真实面貌。宋朝街市翻看东京梦华录，随处夏朝真的存在吗？中国的第一个王朝又是如何被夏桀覆灭的？夏朝是我国史书中记载的第一个世袭制王朝，后世一般认为夏朝建立于公元前2070年，夏朝的建立可以说彻底改变了以往原始部落的制度，并且开始实行世袭制，开始了我国的第一个封建王朝，奴隶制她短短三十八年人生牵绊的却是王朝的盛衰北方有佳人，绝世而独立，一顾倾人城，再顾倾人国。这是汉代李延年对倾城倾国的绝色美女所赞美形容之词。这样一个有倾城倾国之貌又有倾城倾国之事的佳人，自然是一个有故事的美人杨玉环。杨玉环趣谈周幽王烽火戏诸侯，千金买一笑头条创作挑战赛历史上有名的亡国三笑夏朝妺喜笑裂缯之声商朝妲己笑炮烙之刑周朝褒姒笑烽火戏诸侯。左传记载夏以妺喜，殷以妲己，周以褒姒，三代所由亡也。更为有趣的是这三代国君的亡国都与美人维吾尔族的祖先是白种人还是黄种人？维吾尔族的族名是怎么来的？维吾尔族是我们中华大家庭中的一个重要的兄弟民族，同时也是一个多源民族，维吾尔族最主要的来源有两支一支是来自蒙古草原的回纥人，另一支是南疆绿洲上的土著居民。这两部分人于9世纪大规模汇