找不到中文语音预训练模型？中文版Wav2vec2。0和HuB

　　机器之心专栏
　　作者：腾讯游戏知几AI团队，西北工业大学音频、语音与语言处理研究组（ASLPNPU）
　　近日，腾讯游戏知几AI团队与西工大ASLP组联合发布了基于WenetSpeech1万小时数据训练的中文版Wav2vec2。0和HuBERT模型。
　　Wav2vec2。0〔1〕，HuBERT〔2〕和WavLM〔3〕等语音预训练模型，通过在多达上万小时的无标注语音数据（如Librilight）上的自监督学习，显著提升了自动语音识别（AutomaticSpeechRecognition，ASR），语音合成（Texttospeech，TTS）和语音转换（VoiceConversation，VC）等语音下游任务的性能。然而这些模型都没有公开的中文版本，不便于应用在中文语音研究场景。
　　WenetSpeech〔4〕是由西工大音频、语音和语言处理研究组（ASLPNPU）、出门问问、希尔贝壳联合发布的1万多小时多领域语音数据集。为了弥补中文语音预训练模型的空缺，我们开源了基于WenetSpeech1万小时数据训练的中文版Wav2vec2。0和HuBERT模型。
　　为了验证预训练模型的性能，我们在ASR任务进行了验证。实验结果表明，在100小时有监督数据ASR任务上，预训练模型学到的语音表征相对于传统声学FBank特征有显著的性能提升，甚至仅用100小时有监督数据能够得到和1000小时有监督数据可比的结果。
　　模型链接：https：github。comTencentGameMatechinesespeechpretrain
　　模型介绍
　　Wav2vec2。0模型
　　图1：Wav2vec2。0模型结构（Baevskietal。，2020）
　　Wav2vec2。0〔1〕是Meta在2020年发表的无监督语音预训练模型。它的核心思想是通过向量量化（VectorQuantization，VQ）构造自建监督训练目标，对输入做大量掩码后利用对比学习损失函数进行训练。模型结构如上图1，基于卷积网络（ConvoluationalNeuralNetwork，CNN）的特征提取器将原始音频编码为帧特征序列，通过VQ模块把每帧特征转变为离散特征Q，并作为自监督目标。同时，帧特征序列做掩码操作后进入Transformer〔5〕模型得到上下文表示C。最后通过对比学习损失函数，拉近掩码位置的上下文表示与对应的离散特征q的距离，即正样本对。
　　原论文中，Wav2vec2。0BASE模型采用12层的Transformer结构，用1000小时的LibriSpeech数据进行训练，LARGE模型则采用24层Transformer结构，用6万小时的Librilight数据训练。训练时间方面，BASE模型使用64块V100显卡训练1。6天，LARGE使用128块V100显卡训练5天。在下游ASR评测中，即使只用10分钟的有监督数据，系统仍可得到4。8的词错误率（WordErrorRate，WER）结果。
　　HuBERT模型
　　图2：HuBERT模型结构（Hsuetal。，2021）
　　HuBERT〔2〕是Meta在2021年发表的模型，模型结构类似Wav2vec2。0，不同的是训练方法。Wav2vec2。0是在训练时将语音特征离散化作为自监督目标，而HuBERT则通过在MFCC特征或HuBERT特征上做Kmeans聚类，得到训练目标。HuBERT模型采用迭代训练的方式，BASE模型第一次迭代在MFCC特征上做聚类，第二次迭代在第一次迭代得到的HuBERT模型的中间层特征上做聚类，LARGE和XLARGE模型则用BASE模型的第二次迭代模型提取特征做聚类。从原始论文实验结果来看，HuBERT模型效果要优于Wav2vec2。0，特别是下游任务有监督训练数据极少的情况，如1小时、10分钟。
　　中文预训练模型
　　实验配置
　　我们使用WenetSpeech〔4〕trainl集的1万小时中文数据作为无监督预训练数据。数据主要来源于YouTube和Podcast，覆盖了各种类型录制场景、背景噪声、说话方式等，其领域主要包括有声书、解说、纪录片、电视剧、访谈、新闻、朗读、演讲、综艺和其他等10大场景。我们基于Fairseq工具包〔6〕分别训练了Wav2vec2。0和HuBERT模型，遵循〔1，2〕的模型配置，每个预训练模型模型包括BASE和LARGE两种大小。对于BASE模型，我们使用8张A100显卡，梯度累计为8，模拟64张显卡进行训练。对于LARGE模型，我们使用16张A100显卡，梯度累计为8，模拟128张显卡进行训练。
　　下游语音识别任务验证
　　为了验证预训练模型在下游ASR任务的效果，我们遵循ESPnet〔7，8，9〕工具包中的Conformer〔10〕模型实验配置，即将预训练模型作为特征提取器，对于输入语音提取预训练模型各隐层表征进行加权求和，得到的语音表征将替换传统FBank特征作为ConformerASR模型的输入。Aishell数据集
　　我们使用Aishell178小时训练集作为有监督数据进行训练，分别对比了使用FBank特征、Wav2vec2。0BASELARGE模型特征和HuBERTBASELARGE模型特征的字错误率（CharacterErrorRate，CER）结果。同时，我们额外对比了使用WenetSpeechtrainl集1万小时中文数据进行训练时，其在Aishell测试集上的效果。训练数据使用了变速（0。9、1。0、1。1倍）和SpecAugment数据增广技术，解码方式为beamsearch，使用了基于Transformer的语言模型进行rescoring。
　　表1：不同模型在Aishell测试集上的字错误率（CER）结果
　　根据表1结果可以看到，通过结合上万小时无监督数据训练的预训练模型，下游ASR任务效果均有显著提升。尤其是使用HuBERTLARGE模型时，在Test集上得到约30的CER相对提升，实现了目前在178h有监督训练数据下业界最好结果。WenetSpeech数据集
　　我们使用WenetSpeechtrains集100小时中文数据作为有监督数据进行训练，分别对比了使用FBank特征、Wav2vec2。0BASELARGE模型特征和HuBERTBASELARGE模型特征的字错误率（CharacterErrorRate，CER）结果。同时，我们额外对比了使用WenetSpeechtrainm集1000小时和trainl集1万小时中文数据FBank特征训练的模型结果。训练数据没有使用变速或SpecAugment数据增广技术，解码方式为beamsearch，没有使用语言模型rescoring。
　　表2：不同模型在WenetSpeech测试集上的字错误率（CER）结果
　　根据表2结果可以看到，通过结合上万小时无监督数据训练的预训练模型，下游ASR结果得到了巨大提升。尤其当使用HuBERTLARGE作为语音表征提取器时，使用100小时有监督数据训练的ASR模型要比1000小时基于FBank特征训练的模型效果要好，甚至接近1万小时数据训练的模型。
　　更多语音下游任务实验结果请关注GitHub链接（https：github。comTencentGameMatechinesespeechpretrain）。欢迎大家使用我们提供的中文语音预训练模型开展研究工作，一起探索语音预训练模型在中文和相关众多场景下的应用。
　　参考文献
　　〔1〕AlexeiBaevski，HenryZhou，AbdelrahmanMohamed，andMichaelAuli，Wav2vec2。0：Aframeworkforselfsupervisedlearningofspeechrepresentations，inProc。NeurIPS，2020。
　　〔2〕WeiNingHsu，BenjaminBolte，YaoHungHubertTsai，KushalLakhotia，RuslanSalakhutdinov，andAbdelrahmanMohamed，HuBERT：Selfsupervisedspeechrepresentationlearningbymaskedpredictionofhiddenunits，IEEEACMTransactionsofAudio，Speech，andLanguageProcessing，vol。29，pp。34513460，2021
　　〔3〕SanyuanChen，ChengyiWang，ZhengyangChen，YuWu，ShujieLiu，ZhuoChen，JinyuLi，NaoyukiKanda，TakuyaYoshioka，XiongXiao，JianWu，LongZhou，ShuoRen，YanminQian，YaoQian，JianWu，MichaelZeng，XiangzhanYu，andFuruWei，WavLM：Largescaleselfsupervisedpretrainingforfullstackspeechprocessing，arXivpreprintarXiv：2110。13900，2021
　　〔4〕BinbinZhang，HangLv，PengchengGuo，QijieShao，ChaoYang，LeiXie，XinXu，HuiBu，XiaoyuChen，ChenhenZeng，DiWu，andZhendongPeng，WenetSpeech：A10000hoursmultidomainMandarincorpusforspeechrecognition，inProc。ICASSP，2021
　　〔5〕AshishVaswani，NoamShazeer，NikiParmar，JakobUszkoreit，LlionJones，AidanN。Gomez，LukaszKaiserandIlliaPolosukhin，Attentionisallyouneed，inProc。NeurIPS，2017
　　〔6〕MyleOtt，SergeyEdunov，AlexeiBaevski，AngelaFan，SamGross，NathanNg，DavidGrangier，andMichaelAuli，fairseq：Afast，extensibletoolkitforsequencemodeling，inProc。NAACL，2019。
　　〔7〕ShinjiWatanabe，TakaakiHori，ShigekiKarita，TomokiHayashi，JiroNishitoba，YuyaUnno，NelsonEnriqueYaltaSoplin，JahnHeymann，MatthewWiesner，NanxinChen，AdithyaRenduchintala，andTsubasaOchiai，ESPnet：Endtoendspeechprocessingtoolkit，inProc。Interspeech，2018，pp。22072211
　　〔8〕PengchengGuo，FlorianBoyer，XuankaiChang，TomokiHayashi，YosukeHiguchi，HirofumiInaguma，NaoyukiKamo，ChendaLi，DanielGarciaRomero，JiatongShi，JingShi，ShinjiWatanabe，KunWei，WangyouZhangandYuekaiZhang，RecentdevelopmentonESPnettookitboostedbyConformer，inProc。ICASSP，2021
　　〔9〕XuankaiChang，TakashiMaekaku，PengchengGuo，JingShi，YenJuLu，AswinShanmugamSubramanian，TianziWang，ShuwenYang，YuTsao，HungyiLee，andShinjiWatanabe，Anexploratinoofselfsupervisedpretrainedrepresentationsforendtoendspeechrecognition，inProc。ASRU，2021
　　〔10〕AnmolGulati，JamesQin，ChungChengChiu，NikiParmar，YuZhang，JiahuiYu，WeiHan，ShiboWang，ZhengdongZhang，YonghuiWu，andRuomingPan，Conformer：ConvolutionaugmentedTransformerforspeechrecognition，inProc。Interspeech，2020，pp。50365040