NLP系列之词向量NNLM（八）

　　在上一期中遗留了以下问题：  矩阵X的维度经常改变  由于大部分词并不共现而导致的稀疏性  矩阵维度过高带来的高计算复杂度
　　在本期中将引入神经网络语言模型来解决上述问题。
　　咱们先来了解下什么是语言模型：
　　语言模型是一个可以计算一个句子出现的概率的模型. 一个句子S是由n个词语
　　组成的. 那么, 根据贝叶斯公式, 我们可以计算:
　　但是，像
　　这种概率，参数空间是非常大的, 太多可能, 难以计算. 同时, 这种很多词汇的组合出现在语料库中的概率是大概率为零的，非常稀疏, 整个句子的概率
　　也会因为与其相乘变为0。这也是所谓的curse of dimensionality.为了解决这个问题，著名的马尔可夫假设被引入了： 在给定当前知识或信息的情况下，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。
　　基于马尔可夫假设, n-gram模型被提出了, 其核心思想是: 第i个词仅与其前面(n-1)个词有关
　　所以当n=1时, 计算句子的概率就变成了:
　　当n=2时:
　　依次类推, n = 3, 4 .... 但是一般用的都是二元, 三元模型，这就是 N-gram
　　神经网络语言模型：
　　N-gram作为传统方法虽然有不俗的效果, 但它依然有如下问题：   无法利用大于n距离的词汇信息   无法计算词汇间的相似度,   无法应付从未出现过的词组(out-of-vocabulary)
　　为了解决上面的问题, Bengio 等人于2003年提出了第一篇运用神经网络搭建语言模型的文章: A Neural Probabilistic Language Model, 也被称作NNLM (Neural Network Language Model). 这也是第一次提出了词向量的概念, 即将文本用稠密, 低维, 连续的向量表达.NNLM的主要任务是利用前n-1个词汇，预测第n个词汇。
　　NNLM整体的框架非常的简单, 所以直接上框架图:
　　可以看到， NNLM主要由三层网络构成：输入层，隐含层，输出层。
　　输入层
　　输入层一共有n-1个词汇的输入，每个词汇将由one-hot vector的形式编码。
　　对于每个one-hot vector (
　　)， 它们将会与Embedding size为m的矩阵 C (
　　)相乘， 得到一个distribution vector (
　　).其中，
　　为词表的大小（即语料库中出现过的所有唯一词汇数量），m为embedding size， 通常比
　　小很多，这样也就达到了降维的目的。C这个参数矩阵其实相当于一本字典，每一行都储存了相应位置词汇的词向量，每当有词汇输入的时候，根据词汇的one-hot-vector， C提取出相应行的向量，即为该词汇的词向量。C由神经网络的back propagation训练，不断优化，从而得到更好的词向量，即更优秀的表达能力。
　　隐含层
　　得到所有词的词向量后（即一个
　　的矩阵），为了利用所有词汇信息，将它们concatenate到一起，得到一个
　　的向量
　　隐含层为一个简单的tanh激活层，其公式为：
　　其维度信息为:
　　输出层
　　输出层利用了隐含层的输出以及原始合并词向量，最后套上softmax, 其公式为：
　　其维度信息为：
　　如果不想利用原始合并词向量的信息的话，可以将W设为零矩阵。
　　其损失函数为：
　　实验结果表明，NNLM模型比smoothed trigram（平均分布, unigram, bigram, trigram的加权结果）表现更好.
　　NNLM的问题：  计算复杂度过大  参数较多
　　因而，基于NNLM，研究人员又提出了word2vec、GloVe、EMLo、GPT及BERT等词向量生成模型，这些模型在实际中有广泛应用。
　　我们会在后续文章中详细介绍。