导读：如今的AI技术发展堪称very神奇，文字、图片竟能一键直接生成逼真音效，嗯，妥妥都是因为TA，一款在语音音频领域横空出世的新模型：MakeAnAudio。 近期AIGC如同上了热搜一般，火热程度居高不下，当然除了名头格外响亮，突破也是绝对斐然：输入自然语言就可自动生成图像、视频甚至是3D模型，你说意不意外？ 但在音频音效的领域，AIGC的福利似乎还差了一些。主要由于高自由度音频生成需要依靠大量文本音频对数据，同时长时波形建模还有诸多困难。为了解决上述疑难，浙江大学与北京大学联合火山语音，共同提出了一款创新的、文本到音频的生成系统，即MakeAnAudio。TA可以将自然语言描述作为输入，而且是任意模态（例如文本、音频、图像、视频等）均可，同时输出符合描述的音频音效，广大网友很难不为其可控性以及泛化性点赞。 论文链接：https：arxiv。orgabs2301。12661 项目链接：https：texttoaudio。github。io 短短两天，Demo视频在Twitter上获得了45K的播放量。 图1：研究团队公布的演示视频 2023年除夕后，以MakeAnAudio、MusicLM等大量音频合成文章涌现，48小时内已经有4篇突破性的进展。 图2：网友评论1 广大网友们纷纷表示，AIGC音效合成将会改变电影、短视频制作的未来。 图3：网友评论2 图4：网友评论3 更有群众发出这样的感叹：audioisallyouneed 图5：网友评论4 这样的听觉效果，难道你不爱吗？ 研究团队已公布部分音频生成结果在工作的主页上：https：texttoaudio。github。io，该模型除了可以一键生成大片音效以外，还可以做音频修复、图片生成音频以及视频配音等多种任务。 图6：音频修复（前） 图6：音频修复（后） 图7：图片转音频样例输入 图7：视频转音频样例输入 这款网红模型的内在技术原理究竟是？ 深度解析网红模型的神奇内在，我们还要回到音频自然语言对数据稀少的客观问题上，对此浙大北大联合火山语音团队共同提出了DistillthenReprogram文本增强策略，即使用教师模型获得音频的自然语言描述，再通过随机重组获得具有动态性的训练样本。 具体来说，在Distill环节中，使用音频转文本与音频文本检索模型，找到语言缺失（LanguageFree）音频的自然语言描述候选（Candidate），通过计算候选文本与音频的匹配相似度，在阈值下取得最佳结果作为音频的描述。该方法具有强泛化性，且真实自然语言避免了测试阶段的域外文本。在Reprogram环节中，我们从额外的事件数据集中随机采样，并与当前训练样本相结合，得到全新的概念组合与描述，以扩增模型对不同事件组合的鲁棒性。研究团队表示。 图8：DistillthenReprogram文本增强策略框架图 如上图所示，自监督学习已经成功将图片迁移到音频频谱，利用了频谱自编码器以解决长音频序列问题，并基于LatentDiffusion生成模型完成对自监督表征的预测，避免了直接预测长时波形。 图9：MakeAnAudio模型系统框架图 此外在研究中团队还探索了强大的文本条件策略，包括对比式ContrastiveLanguageAudioPretraining（CLAP）以及语言模型（LLM）T5，BERT等，验证了CLAP文本表征的有效与计算友好性。同时还首次使用CLAPScore来评估生成的音频，可以用于衡量文本和生成场景之间的一致性；使用主、客观相结合的评估方式，在benchmark数据集测试中验证了模型的有效性，展示了模型出色的零次样本学习（ZeroShot）泛化性等。 图10：MakeAnAudio与基线模型主客观评测实验结果 神奇模型的应用前景知多少？ 总体来看，MakeAnAudio模型实现了高质量、高可控性的音频合成，并提出了NoModalityLeftBehind，对文本条件音频模型进行微调（finetune），即能解锁对任意模态输入的音频合成（audioimagevideo）。 图11：MakeAnAudio首次实现高可控X音频的AIGC合成，X可以是文本音频图像视频 在视觉指导的音频合成上，MakeAnAudio以CLIP文本编码器为条件，利用其图像文本联合空间，能够直接以图像编码为条件合成音频。 图12：MakeAnAudio视觉音频合成框架图 可以预见的是，音频合成AIGC将会在未来电影配音、短视频创作等领域发挥重要作用，而借助MakeAnAudio等模型，或许在未来人人都有可能成为专业的音效师，都可以凭借文字、视频、图像在任意时间、任意地点，合成出栩栩如生的音频、音效。但现阶段MakeAnAudio也并不是完美无缺的，可能由于丰富的数据来源以及不可避免的样本质量问题，训练过程中难免会产生副作用，例如生成不符合文字内容的音频或有害的音频，所以哪怕MakeAnAudio在技术上被定位是辅助艺术家生成，但也可能出现创意内容被滥用的潜在风险，但可以肯定的一点，AIGC领域的进展确实令人惊喜。 火山语音，长期以来面向字节跳动各大业务线提供全球优势的AI语音技术能力以及全栈语音产品解决方案，包括音频理解、音频合成、虚拟数字人、对话交互、音乐检索、智能硬件等。自2017年成立以来，团队专注研发行业领先的AI智能语音技术，不断探索AI与业务场景的高效结合，以实现更大的用户价值。目前其语音识别和语音合成已经覆盖了多种语言和方言，多篇技术论文入选各类AI顶级会议，为抖音、剪映、飞书、番茄小说、Pico等业务提供了领先的语音能力，并适用于短视频、直播、视频创作、办公以及穿戴设备等多样化场景，通过火山引擎开放给外部企业。
虎年最成功的一笔投资，就是提前还了部分房贷2021年3月着急忙慌的买了人生中的第三套房，说着急忙慌是因为从看户型到下定前后不过两个小时，当然日后有不尽的后悔和遗憾为这次着急忙慌买单。首付契税杂七杂八的费用，一共付了差不多6铜价是中国经济的标志之一，经济复苏必然意味着铜价的上升？2022年12月，高盛金属策略师NicholasSnowdon表示政策目标和绿色转型承诺的连续增加，以及迄今为止最小的供应反应，导致了更早规模更大的开放式短缺状况，这些状况基本上已巴菲特这位股神，真的是金融市场最后的圣人吗？（一）我们想让你知道的是作者陈思进具有欧美大型证券公司的工作经验，并担任央视大型纪录片华尔街的学术顾问，让本书融会了国际性的金融观点和与贴近的华人思维，更整理了阅读财经新闻的四大原则，让2022年全球车企市值榜特斯拉瘦死的骆驼比马大，比亚迪跻身前三继2020年和2021年汽车股的大幅增长后，2022年，随着全球经济衰退的隐忧电动汽车初创企业市值泡沫的破裂汽车库存的低企和不断飙升的通胀和利率，汽车股的整体表现令人沮丧。2022中国减持美债，美财长发出威胁，访问非洲，指责中国设立债务陷阱根据美国财政部发布的公告显示，中国在2022年12月份之前，已经连续3个月减持美国国债。美国财政部是在2023年1月份公布了截止到2022年12月份之前的数据。根据数据显示，中国拥对普通股民来说，在股市里要想长久的赚钱，归根到底只有两种股市赚钱的两种方法！我总结了多年，股市赚钱其实就两种方法如果你不能像徐翔前期炒股一样，成为百万里挑一的短线高手如果你不能像他后期炒股一样，成为左右个股的庄。家。那么只有两种方法供你历史首次！美国M2货币总量减少，美联储印的钱去哪了？春节长假期间美国公布了一个让人颇感意外的金融数据，有朋友甚至觉得这一定是搞错了。2022年12月美国的广义货币总量（M2）同比2021年12月下降了1。3，这意味着印钱大户美国的货太壕气！A股2022年回购20强名单出炉，这些公司耗资逾10亿，五大行业成回购集中地兔年大吉上市公司的回购行为往往代表着其看好企业的长期发展，这对提升投资者信心提振股价起到积极作用。2022年五大行业回购力度较大证券时报数据宝统计，以最新公告时间为依据，2022全110100阶梯式发展，平顶山市新华区跑出项目发展新势头河南日报客户端记者张建新通讯员毛玺玺1月26日，农历正月初五，平顶山市新华区区长张伟民到该区新的经济增长点高新技术产业园区，与园区负责同志及恒一锂能国碳纳米富士达慧奇西美等重点企业给我一个支点，我可以撬动一个万亿级市场阿基米德说给我一个支点，我可以撬动地球。阿基米德能不能撬动地球我不知道（理论上可以），但我知道，给我一个支点，我可以撬动一个万亿级市场！我的想法很简单，就是给大棚内外装上地暖（棚内社保断了几年再交，之前的年限还算吗小豆社保社保交纳业务覆盖300城市，手机自助交纳，智能参保系统零失误操作，办理进度实时跟踪，心里有谱更放心社保保障着我们生活中的方方面面，如果有条件能连续缴纳社保是再好不过的，但是