Bert模型的参数大小计算

　　《BERT：PretrainingofDeepBidirectionalTransformersforLanguageUnderstanding》
　　《Attentionisallyouneed》
　　Bert的Basemodel参数大小是110M，Largemodle是340M
　　Basemodel
　　（1）第一：词向量参数（embedding）classBertEmbeddings（nn。Module）：Constructtheembeddingsfromword，positionandtokentypeembeddings。definit（self，config）：super（BertEmbeddings，self）。init（）self。wordembeddingsnn。Embedding（config。vocabsize，config。hiddensize）self。positionembeddingsnn。Embedding（config。maxpositionembeddings，config。hiddensize）self。tokentypeembeddingsnn。Embedding（config。typevocabsize，config。hiddensize）
　　从代码中，可以看到，词向量包括三个部分的编码：词向量参数，位置向量参数，句子类型参数（bert用了2个句子，为0和1）并且，Bert采用的vocabsize30522，hiddensize768，maxpositionembeddings512，tokentypeembeddings2。这就很显然了，embedding参数（305225122）768（2）第二：multiheads参数（MultiHeadsAttention）
　　这个直接看《Attentionisallyouneed》中的Transformer结构就知道了
　　从结构中可以看到，Q，K，V就是我们输入的三个句子词向量，从之前的词向量分析可知，输出向量大小从lenlenxhiddensize，即lenx768。如果是selfattention，QKV，如果是普通的attention，Q！KV。但是，不管用的是selfattention还是普通的attention，参数计算并不影响。因为在输入单头head时，对QKV的向量均进行了不同的线性变换，引入了三个参数，W1，W2，W3。其维度均为：768x64。为什么是64呢，从下图可知，
　　Wi的维度：dmodelxdkdvdq
　　而：dkdvdqdmodleh，h是头的数量，dmodel模型的大小，即h12，dmodle768；
　　所以：dkdvdq7681264
　　得出：W1，W2，W3的维度为768x64
　　那么单head的参数：768768123
　　而头的数量为h12
　　multiheads的参数：76876812312
　　之后将12个头concat后又进行了线性变换，用到了参数Wo，大小为768768
　　那么最后multiheads的参数：76876812312768768（3）全连接层（FeedForward）参数
　　以上是论文中全连接层的公式，其中用到了两个参数W1和W2，Bert沿用了惯用的全连接层大小设置，即4dmodle，为3072，因此，W1，W2大小为7683072，2个为27683072。（4）LayerNorm层
　　文章其实并没有写出layernorm层的参数，但是在代码中有，分别为gamma和beta。在三个地方用到了layernorm层：
　　词向量处
　　多头注意力之后
　　最后的全连接层之后
　　但是参数都很少，gamma和beta的维度均为768。因此总参数为76827682212（层数）
　　而BaseBert的encoder用了12层，因此，最后的参数大小为：
　　词向量参数（包括layernorm）12（MultiHeads参数全连接层参数layernorm参数）（305225122）768768212（768768123127687687683072276822）108808704。0110M
　　PS：本文介绍的参数仅仅是encoder的参数，基于encoder的两个任务nextsentenceprediction和MLM涉及的参数（7682，2768768，总共约1。18M）并未加入，此外涉及的bias由于参数很少，本文也并未加入。