用嘴做视频真来了！Meta这个新应用太逆天了

　　技术的发展已经极大地突破了人们的想象边界，并将以往只存在于脑海中的功能付诸现实。比如最近Meta推出的MakeAVideo，就可以直接用文字生成视频，实现用嘴做视频的效果。那么这一产品功能最终呈现的效果如何？一起来看看作者关于它的解读吧。
　　今年，是AI在图像视频制作领域进步很大的一年。
　　有人拿着AI生成的图像拿走了数字艺术大奖，战胜了一众人类艺术家；有Tiktok这样的应用通过文字输入生成图片，变为短视频的绿幕背景；还有新的产品可以做到文字直接生成视频，直接实现用嘴做视频的效果。
　　这次的产品来自深耕人工智能多年，前段时间才因为元宇宙被疯狂嘲讽的Meta。
　　只是这次，你不能嘲讽它了，因为它真的有了小突破。
　　一、文字转视频，能做成什么样
　　现在，你可以动嘴做视频了。
　　这话虽然有点夸张，但Meta这次推出的MakeAVideo恐怕真是朝着这个目标前进的。
　　目前MakeAVideo可以做到的是：文字直接生成视频将你的想象力变成真实的、独一无二的视频；图片直接转为视频让单一图片或两张图片自然地动起来；视频生成延伸视频输入一个视频创建视频变体。
　　单说文字直接生成视频这个方面，MakeAVideo就战胜了不少专业的动画设计专业的学生。至少它什么风格都能做，而且制作成本非常低。
　　虽然官网还不能让你直接生成视频体验，但你可以先提交个人资料，之后MakeAVideo有任何动向都会先和你分享。
　　目前可以看到的案例不多，官网展示的案例在细节上还有一些怪异的地方。但不管怎么说，文字可以直接变视频，本身就是一个进步了。
　　一只泰迪熊在画自画像，你可以看到小熊的手在纸面阴影部分的投影不太自然。
　　机器人在时代广场跳舞。
　　猫拿着电视遥控器换台，猫咪手部爪子和人手极为相似，某些时候看还觉得有点惊悚。
　　还有戴着橙色针织帽的毛茸茸树懒在摆弄一台笔记本电脑，电脑屏幕的光映在它的眼睛里。
　　上面这些属于超现实风格，和现实更相似的案例则更容易穿帮。
　　MakeAVideo展示的案例如果只是专注局部表现都不错，例如艺术家在画布上画画的特写，马喝水，在珊瑚礁游泳的小鱼。
　　但是稍微写实一点的年轻夫妇在大雨中行走就很怪异，上半身还好，下半身的脚忽隐忽现，有时还会被拉长，如同鬼片。
　　还有一些绘画风格的视频，宇宙飞船登陆火星，穿着晚礼服的夫妇被困在倾盆大雨中，阳光洒在桌上，会动的熊猫玩偶。从细节上看，这些视频都不够完美，但仅仅从AI文字转视频的创新效果来看，还是让人惊叹的。
　　静态的油画也可以在MakeAVideo帮助下动起来船在大浪中前进。
　　海龟在海中游动，最初的画面非常自然，后面变得更像绿幕抠图，不自然。
　　瑜伽训练者在朝阳中舒展身体，瑜伽垫也会随着视频的变化一起变化这个AI就战胜不了学习影视制作的学生了，控制变量没做好。
　　最后输入一个视频模仿其风格创造视频变体也有3种案例。
　　其中一个变化相对来说没那么精致。宇航员在太空中飘舞的视频变为了美感稍弱版本的4个粗放版视频。
　　小熊跳舞的视频倒是有不少令人惊喜的变化，至少舞姿有变化了。
　　至于最后兔子吃草的视频就是最安能辨我是雌雄的类型了，5个视频最后很难认出谁是初始视频，看着都蛮和谐。
　　二、文字转图片刚有进展，视频就来了
　　在《阿法狗之后，它再次彻底颠覆人类认知》中，我们曾经介绍过图像生成应用DALLE。曾有人用它制作出的图像去和人类艺术家PK并最终取胜。
　　现在我们看到的MakeAVideo可以说是一个视频版本的DALLE（初级版）它就像18个月前的DALLE，有巨大突破，但现在的效果不一定能让人满意。
　　甚至可以说，它就是站在巨人DALLE肩膀上做出成就的产品。相较于文字生成图片，MakeAVideo并没有在后端进行太多全新变革。
　　研究人员在论文中也表示：我们看到描述文本生成图片的模型在生成短视频方面也惊人地有效。
　　目前MakeAVideo制作的视频有3个优点：加速了T2V模型（文字转视频）的训练；不需要成对的文本转视频数据；转化的视频继承了原有图像视频的风格。
　　这些图像当然有缺点，前面提到的不自然都是真实存在的。而且它们不像这个年代诞生的视频，画质模糊，动作僵硬，不支持声音匹配，一段视频长度不超过5秒，解析度64x64px都是硬伤，它们的清晰度远远不够。
　　这个视频狗狗舌头和手有几帧非常怪异
　　几个月前清华大学和智源研究院（BAAI）研究团队发布的第一个能根据文本直接合成视频的CogVideo模型也有这样的问题。它基于大规模预训练的Transformer架构，提出了一种多帧率分层训练策略，可以高效的对齐文本和视频片段，只是也经不起细看。
　　但谁能说18个月后，MakeAVideo和CogVideo制作的视频不会比大部分人更好呢？
　　目前已经发布的文字转视频工具虽然不多，但在路上的却有不少。在MakeAVideo发布后，初创企业StabilityAI的开发者就公开表示：我们的（文字转视频应用）会更快更好，适用于更多人。
　　有竞争才会更好，越来越逼真的文字转图像功能就是最好的证明。
　　作者：冷思真
　　来源公众号：爱范儿（ID：ifanr）；连接热爱，创造不同。
　　本文由人人都是产品经理合作媒体爱范儿授权发布于人人都是产品经理，未经许可，禁止转载。
　　题图来自Unsplash，基于CC0协议
　　该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。