CCBN思必驰带屏终端场景下的多模态交互

　　第二十八届中国国际广播电视信息网络展览会(以下简称CCBN2021)于2021年5月28日至30日在北京中国国际展览中心（静安庄馆）举行。思必驰IoT家电线产品总监于鹏伟受邀参加并带来了精彩主题分享，全面展示思必驰语音技术情况以及多模态技术在带屏终端的应用与经验。
　　思必驰IoT家电线产品总监于鹏伟
　　CCBN2021展会展览面积60,000平米，设置专业展区20余个，举办会议论坛和专项活动30余场，同步进行线上展览和会议交流。在5月28日同期举办的CCBN BDF2021智慧广电+系列论坛——智能终端篇上，思必驰IoT家电线产品总监于鹏伟进行了题为《带屏终端场景下的多模态交互》的主题分享，全面展示了思必驰语音技术情况以及多模态技术在带屏终端的应用与经验。
　　在2021世界超高清视频（4K/8K）产业发展大会上，工业和信息化部部长肖亚庆表示，过去一年中，国内4K超高清电视的市场占比超过了70%，同时8K电视也开始加速渗透。
　　自去年以来，受疫情影响，民众居家娱乐需求提升，使得4K电视加速普及。据资料显示，2020年国内4K电视总销量约为3338万台，销售额超过千亿元。
　　中国电子信息产业发展研究院院长张立介绍称，未来8K电视将成为电视厂商旗舰产品的主流配置。
　　据Strategy Analytics统计，2020年全球8K电视的销量低于预期，仅为35万台。但到了2021年，这个数字有望突破百万。到2025年，8K电视将进入全球范围内超过7200万个家庭之中，其中以北美和亚太地区占比最高。
　　于鹏伟在分享中提到，智能电视作为「客厅经济」中的核心代表产品，占据客厅场景最大的流量入口，一直是各大家电厂商争夺的核心领域。思必驰依托智能语音行业深耕多年的经验及关键技术优势，为智能电视打造流畅自然的语音入口+输出，同时背靠DUI平台，打通了超过300家第三方资源接口，为用户提供全屋家居控制、交通出行、新闻资讯、生活娱乐等各领域内容服务。除此之外，于鹏伟还分别介绍了思必驰的AMAEC技术、TH1520芯片和多模态交互技术的应用。
　　AMAEC，杜比全景声效的最佳搭档
　　AMAEC（AISpeech Multichannel Acoustic Echo Cancellation）是思必驰推出的多通道回声消除技术，采用传统信号处理方法结合深度学习网络，对每一独立的发声通道建立专有滤波系统，使得多扬声器系统的回声消除达到极佳效果。
　　思必驰AMAEC，适配4/6/8麦+N回路场景，保障中高端电视杜比全景声效下的语音交互无障碍进行。流畅自然智能语音交互与杜比全景声绝妙体验双管齐下，实为中高端智能电视更优之选。
　　目前思必驰与电视领域头部企业海信达成深度合作，海信及其子品牌东芝高端电视型号已全面搭载思必驰AMAEC技术，包括海信85U9E、海信75U9G Pro、海信85U7G max、东芝940、东芝840、东芝740等。
　　TH1520，系统CPU高占用的救星
　　TH1520是一款AI专用的双核增强型低功耗DSP芯片。大容量片内静态存储，多通道音频解码支持广域采样率，可以为上层SOC端的工作减轻压力。另外，芯片支持低功耗模式和全速模式，实现毫瓦级待机功耗和百毫瓦级的全速工作功耗。
　　TH1520集成思必驰语音算法，家居噪音环境下可以实现5米远场唤醒率>95%，识别准确率>92%，误唤醒仅1次/48h（国际认可1次/24h为优秀水平）；支持唤醒词自定义，可内置本地指令数百条，响应时间<500ms；背靠DUI平台，可自选对接天气、音乐、故事、百科、新闻等海量技能，云端服务无限制。
　　目前海信S7F社交电视、近日发布的乐视GS系列电视，也同样搭载了TH1520语音专用芯片，在未来几个月还会有大批搭载TH1520芯片的智能电视发布出货。
　　多模态交互技术的应用
　　于鹏伟表示，思必驰全链路语音交互技术在一般家居场景底下能够为用户提供流畅的交互体验。但在一些特殊的场景底下，比如多位用户在激烈的玩电子游戏、亲朋好友聚会等，很容易出现多人同时交互的情况出现，此时纯语音交互则很难对声源进行精准判断，交互成功率会直线下降。
　　针对周边嘈杂干扰大、多人密集同时交互的情况，思必驰结合全链路语音交互技术及自研计算机视觉技术，推出多模态交互技术方案，根据视觉和音频特征，通过多模态融合VAD分离出说话人的目标语音，拒识其他说话人的声音，从而实现辅助降噪、提高声源定位的精准度，即使说话人在移动状态下也不受影响。
　　思必驰多模态交互技术方案还可以应用在会议大屏、商场显示大屏、地铁购票机等商用带屏显示设备中应用，目前此技术已在全国多个地区地铁的购票设备中落地。思必驰始终坚持技术源头创新，结合行业最新动态，为企业提供更优质的自然语言交互解决方案，为用户带来更自然的人机交互体验。