抖音三维声技术助力总台央视春晚演绎沉浸式听觉盛宴

　　兔圆圆兔年庆新春，喜盈盈喜气铸菁彩。2023中央广播电视总台春节联欢晚会令人回味，高清的画质、沉浸式的听觉带给观众极致的体验，这得益于我国自主知识产权的技术发展。2023年总台央视春节联欢晚会使用三维菁彩声（AudioVivid）技术进行节目制作和现场直播，让观众们通过百城千屏云听、央视频等平台能够置身于这场视觉与听觉盛宴之中。
　　此次春晚使用的三维菁彩声是我国自主知识产权的空间音频技术标准，火山引擎智能创作语音团队（SAMI）作为技术贡献方深度参与了三维菁彩声标准的制定和研发，贡献并开源了一套完整的元数据和双耳渲染系统，形成8项技术专利。
　　三维声的双耳渲染示意图
　　三维声相比传统的立体声拥有更好的空间呈现效果，能精准地再现每个声源的位置和所处环境的空间信息。三维声带来的沉浸式体验已经在影视、音乐等场景有广泛的应用，例如常见的全景声、环绕声等技术都是利用多个外接音箱来实现三维声回放，但是需要复杂的回放环境，这对普通用户来说并不容易。双耳渲染技术的成熟将三维声带给了每一位观众，利用普通耳机就可以感受到身临其境的震撼效果。三维声相比传统立体声有以下三点优势。
　　一、舞台临场感点燃三维视界
　　舞台是整个节目现场的焦点区域，对于声乐、语言类节目，使用三维声能够更真实地还原现场表演效果。当演员们处于舞台的不同位置表演时，声音的方向感会随着演员的位置不同而发生改变，背景音和人声变得更有层次感。例如舞台左边演员的声音听起来是从左边传来的，观众的听感具备三维效果，使得舞台临场感拉满，观看体验更进一步。
　　二、观众席效果画龙点睛
　　观众席画面往往是晚会现场的点睛之处，美妙的演出离不开观众的烘托。当听到的掌声与呐喊声跟随摄像机画面移动时，屏幕前的观众仿佛已身在晚会现场的中心，清晰的掌声让人感受真正的身临其境。
　　三、沉浸感升华观看体验
　　在节目中鸟叫的声音应该从天上来，传统立体声无法很好的还原天空音效，而三维声则能可以还原这些声音的细节和节目效果，营造更为沉浸的现场环境。同时三维声能捕捉一些现场环境的弱混响，使节目的整体听感提升，为观众提供被包围在春晚现场中心位置般的最佳听觉体验。
　　三维声制作软件ASphere同样由火山引擎智能创作语音团队设计研发，该软件集三维声制作、监听于一体，具备头部姿态跟随功能，顺利保障了此次晚会的三维声节目制作，ASphere部分功能如下图所示：
　　ASphere三维声制作软件渲染组件图
　　火山引擎智能创作语音团队致力于打造国内领先的三维声回放技术，以满足直播、互动等场景低延迟、低功耗、高沉浸且统一的音频渲染要求。三维声双耳渲染引擎通过一系列自主研发的沉浸式渲染算法，对三维声场进行精细重构，并对双耳声还原模式做了一系列效果和性能优化，能够满足大多数场景的需求。最后，期待三维菁彩声在影视、音乐、XR等更多领域发挥作用，建设良好的三维声生态，丰富沉浸式音视频内容体验。
　　点击：申请试用火山引擎，了解相关技术。