语言模型是自然语言处理领域的基础问题，其在词性标注、句法分析、机器翻译、信息检索等任务中起到了重要作用。简而言之，统计语言模型表示为：在词序列中，给定一个词和上下文中所有词，这个序列出现的概率，如下式，

其中，是序列中第词，， 可以使用 近似，这就是n-gram语言模型，详细请阅读[我们是这样理解语言的-2]统计语言模型。随着深度学习的发展，神经网络相关研究越来越深入，神经网络语 言模型（Neural Network Language Model，NNLM）越来越受到学术界和工业界的关注，本文将系统介绍下 NNLM 的建模及其应用。

简而言之，词向量是用一个向量来表示一个词，一定程度上可以用来刻画词之间的语义距离。

a、词表中的词表示为一个词向量，其维度一般取值为等值。

为了得到词向量，我们需要在给定训练数据集情况下，训练得到目标模型。而模型需要满足的约束，即对于任意的，表示与上下文所有可能的组合的概率和为1。 如此，我们可以将分解成两部分：

a、词表中任意单词表示为词向量，由此构建了一个的矩阵。

b、词的概率分布可以通过矩阵进行变换得到。函数是组合上下文中词向量构建一个词的条件概率分布，即函数的输出为一个向量，其第个分量表示当前词等于词表中第个词的条件概率，，函数组合了和得到最终的输出结果。

上图中，输出层为Softmax，保证满足概率分布的约束：

其中，是每个词非正规化的概率值，的值是通过下式计算得到，参数分别为：

通常设置为0，即输出层和输入层不存在直接联系，输入向量为上下文环境对应的词向量的拼接组合。在模型中，令，其中，是输入层到隐藏层的偏置 （长度为），为隐藏层到输出层的参数（大小为），为输入层到隐藏层的参数，为隐藏层到输出层的偏置（长度为），是词向量矩阵（大小为），总共的参数为。

模型求解方式采用随机梯度上升（SGA，Stochastic Gradient Ascent），SGA类似于SGD，仅目标函数存在min和max的区别。

Bengio在论文的Feature Work部分提出了神经网络语言模型的可能改进方向，在后续研究者（包括他本人）的工作中多有所体现。

a、将神经网络分解成为小的子网络，比如利用词的聚类等。

b、加速SoftMax中的正则项Z的快速求导

c、仅对一部分输出进行梯度传播。

d、引入先验知识，比如语义信息（WordNet），语法信息（low-level: POS, high level:句法结构）等。

e、词向量可解释性。

f、解决一词多义问题（Polysemous）。

其中可以看作能量函数。

同上文一致，令为词向量矩阵（word embedding matrix），为词对应的向量，上述能量函数可以表示为，

上式中，为的转置，为对应的参数向量和矩阵，是通过拼接词的上下文中词向量得到。

令为模型中隐藏层的单元数，我们可以计算得到整个模型的参数个数为。假定为100，词表的大小20,000，Context的大小为5，可知第一部分为12,000，第二部分为6,000,000，计算量依然很大。

模型求解参考了Goodman加速最大熵的语言模型训练过程中的工作，将词表中的词进行一个预处理（按类层级划分），这样可以达到不错的加速比，。这样在计算式（2）时，可以转换为，

其中，为树的深度，是属于类别的指示变量。按照上述形式，计算和的复杂度和成正比（相比，要小很多）。

类似于Log-Linear模型，Log Bi-Linear模型在能量函数部分（EXP上面那个部分的相反数）加入了一个双线性项，注意这里的R是词向量构成的矩阵，C代表此之前的连接权值。

其中，表示和之间的连接关系的参数，表示字典中词向量的矩阵，第行表示第个单词的词向量，表示一个和字典长度相同的指示向量，即词对应词向量可 以表示为； 表示对应的偏置。从上述能量函数可以看出，它是一个双线性函数，需要注意的是这里的能量函数是RBM的幂数部分，其对应的语言模型形式为，

其中，。

Log Bi-Linear的模型结构见下图，

套用RBM的求解框架，Log Bi-Linear可以采用Contrast Divergence Learning求解，其参数的梯度表达式，

对于，

对于，

这里表示data distribution ，表示model distribution 。

其中，词的在层次（树）结构的编码，是编码路径中第个节点的向量，为Logistic方程。

这里可以允许存在多种层次结构，即每个词对应多种编码，可以将词的所有编码方式求和，即

SENNA中不仅仅提出了word embedding的构建方法，同时还从神经网络语言模型角度系统去解决自然语言处理任务（POS，Chunking，NER，SRL）。SENNA中，每个词可以直接从Lookup Table中直接查找到对应的向量。

其中，是词向量的维度，为词向量的矩阵，表示取矩阵的第列。SENNA中，表示句子或者词序列仅将对应的词向量拼接起来得到对应的向量。

SENNA中采用HLBL中同一个词存在不同的词向量，用于刻画不同的语义和语法用途，一个词的词向量最终由各种形态下的词向量组合起来，比 如，一个词可以有word stemming的向量，本身的向量（这些向量可能来自不同的Lookup table）等，需要将这些向量结合起来表示这个词。SENNA直接将这些向量拼接起来，构成了一个维度为。

（1）window approach

window approach是一个前馈神经网络，包含线性层、HardTanh层。window approach的输入是包含当前词在内的窗口大小的序列，拼接所有词的向量得到的表示向量，维度，

从图3可知，输入下一层或者几层线性层，记为。

其中，为待训练参数，为第层隐藏单元数。

SENNA中包含了一个特殊的层，HardTanh层，它的输入是前一个线性层。HardTanh层是一个非线性层，形式如下，

其中，

SENNA的输出层为输入序列对应的得分，大小具体任务有关。

（2） sentence approach

window approach能够完成绝大部分自然语言处理任务，但是在SRL上表现不佳。因此，SENNA提出了sentence approach用于适应SRL。sentence approach采用的卷积网络结构，除了线性层和HardTanh层外，还有一个卷积层和一个Max层。

上述神经网络的参数均通过MLE + SGD得到，我们将参数记为，训练数据记为, 则参数估计记为，

其中，为输入的句子或词序列（window approach）对应的表示向量，表示具体任务（POS，NER，Chunking，SRL）的tag，为神经网络的输出结果，箭头右边为data log likelihood。

SENNA求解方式分为两种，word-level log-likelihood，sentence-level log-likelihood。

（1）word-level log-likelihood

在给定输入的情况下，神经网络输出一个得分，这里为输出的tag编号。这个得分不满足概率的约束，需要对它进行归一化，这里采用了softmax方程，

为方便运算，对上述等式取log值，记分母部分为，得到的形式带入data log likelihood中，最终形式为交叉熵（cross entropy）。但是，由于在句子中当前词和相邻的词的tag存在关联性，上述方案并非最好的求解方式，所以SENNA提出了sentence- level log-likelihood。

（2）sentence-level log-likelihood

在输入的句子中，有些tag不能在某些tag之后。从序列的角度看，tag和tag之间的转换是有条件的，这种转换是需要满足约束的。记，为句 子的网络输出得分，为输入序列中第个词，输出为第个tag的得分。基于上述考虑，SENNA引如一个转换矩阵用于保存tag和tag之间的转换关系，表示 从tag i到tag j的得分，转换得分需要通过从数据中训练得到，故参数为。按照上述处理，序列的得分是神经网络得分加上转换得分，

类似于word-level的处理，最终输出需要满足概率分布的约束，sentence level仅对所有可能的tag路径进行softmax归一化，我们定义这个结果比值为tag路径条件概率。对条件概率取log后，

SENNA的推断部分采用的是Viterbi算法，推断过程理解可以参照HMM的推断过程，形式为，

类似于HMM中，也需要按照参数求解过程进行递归处理，但是每步需要用max操作替代logadd操作，然后回溯得到解。viterbi的过程理解可以参照动态规划问题，找出状态转移方程即可。

其中，，代表局部的得分，代表全局的得分。的计算公式为，

为当前词的Context中个词向量的拼接，为激活函数（逐个元素使用），比如为对网络中的参数。

相应的，的计算公式，

Eric Huang采用[C&W, 2007]中的求解方法，从词表中随机采样一个替换当前词，构造如下损失函数（类似于Ranking问题）

求解过程采用了min-batch L-BFGS。

word2vec是word embedding中最为人知的模型，其原因（能想到的）有，（1）模型简单，训练速度快；（2）代码和数据开源，容易复现；（3）Google出品（作者在Google实习期间工作，但代码很难读）。

word2vec由Tim Mikolov的三篇论文引出（虽然有一篇是讲Recurrent NN），项目开源（https://code.google.com/p/word2vec/），训练速度快（单机跑缺省数据集，仅20+min）。 word2vec代码中包含了两个模型CBOW（Continue BOW）和Skip-Gram。

类似于[Bengio, 2003]中的模型，CBOW的优化目标是：给定词序列，最大化下式，

其中，采用log-linear(Softmax)模型用于正确分类当前词。在求解上式梯度时，每步的计算量与词表大小成正比，十分耗时，需要借助其他方法近似求解。

Skip-Gram中优化的目标：给定词序列，最大化下式，

其中，c是上下文的大小，采用softmax方程，

和为对应的输入和输出词向量，上式中梯度（）的计算复杂度正比于词表的大小，处理方法同CBOW。

（1）Hierarchical Softmax

同Section 4中Hierarchical NNLM[Bengio, 2006]，基于tf-idf构建Huffman树，简单快速。

（2）Noise Constractive Estimation

在section 4中提到了如何快速近似求解partition function的问题，Gutmann在AISTAT（理论的会议，如无基础误入，坑！）和ICANN上介绍一种新的近似求解方法-NCE，最终在 JMLR上发表一篇长文来详细阐述其思想。此方法思想后续，本博客会撰文专门解释。

词表中三个词，表示词出现在词的context中的概率，同理，。以i=ice, j=steam, k=solid（solid语义上更靠近ice而不是steam），Glove的目标是极大比率，参照Logistic Regression，其一般形式为，

其中，是对应的词向量，是context中词对应的向量。

由于属于一个非常大的泛函空间，所以需要对形式进行限制：

（1）需要编码比率中包含的信息，由于向量空间和线性结构的一致性，所以最直接的方法是F建模的是两个目标词向量的差值。

（2）上式中，等式右边是一个标量。如果F拥有复杂的结构，这样和需要得到线性结构的冲突，故F变为如下形式，

（3）Context的词和目标词()可以任意交换，所以模型需要能适应如此变形。在F满足对称性下，其形式为

结合，上述两式可以解得，即

对上式进行变形—将吸收到的偏置中，引入的偏置，

由于logx函数性质，需要对进行平滑，

依据上式，我们可以构造出对应的损失函数，由于词与词之间的共现关系不均衡，有部分共现关系不合理的（噪声）词会赋上极小的权重，不利于模型学习参数。所以，在构造函数时考虑引入一个权重方程，

其中，需要满足如下特性，

（1），如果是一个连续函数，当时，是有限的。

（2）需要满足非递减的特性，如此，较少的出现的共现组合不会赋较大值。

（3）的函数值需要比较小，这样常见的共现组合也不会赋较大值

Glove中使用的权值方程，

通常。

其中，输入层包括一个维的向量和一个维的向量，为隐藏层大小。网络训练结束后，输出层表示。

上述网络结构中，各个链接可以表示为

其中，和为sigmoid和softmax激活函数。网络每步训练复杂度为。

由于RNN网络结构比较复杂，Backpropagation无法得到很好的训练结果，所以需要对传统Backpropagation进行改 进，Mozer,Rumelhart,Robinson,Werbos等分别独立提出了BPTT(BackPropagation Through Time)用于训练RNN[Mozer, 1995][Rumelhart, 1986][Robinson, 1987][Werbos,1988]。

单隐藏层的RNN可以展开成一个多层的深度FFNN，隐藏层被使用N次，则可以展开为一个包含N个隐藏层的深度FFNN（见下图），深度的FFNN可以使用梯度下降方法学习得到参数。

按照上述结构，输出层的误差可以递归的往下传递，误差表达式为：

其中，对向量中元素逐个使用，

如此，RNN中参数更新表达式为，

对于，

对于，

其中，T为网络中被展开的步数（见上图）。

RNN用于Word Embedding学习的相关项目见：http://www.fit.vutbr.cz/~imikolov/rnnlm/

这里列举两篇关于评测词向量的论文：Word Representation: Word representations :A simple and general method for semi-supervised learning[Turian et al., 2010]，The Expressive Power of Word Embeddings[Yanqing Chen et al., 2013]。

在Word Representation一文中，将Word Representation分为三类，（1）Distributional Representation；（2）Clustering-based word representation；（3）Distributed Representation。

Distributional Representation是基于共现矩阵，其中为词表大小，为Context大小，矩阵中每行为一个词的表示向量，每一列为某些Context内容。 构造矩阵有许多的方案和技巧，比如context的构建（左边 or 右边的Context窗口内容，Context窗口大小等）。同时，基于现有的共现矩阵，可以采用一些降维方法压缩词的表示，比如LSA中的SVD + Low Rank Approximation等。

Clustering-based word Representation是进行Distributional Representation中的共现矩阵“变换”成一个个聚类。常见的模型有：brown clustering，HMM-LDA based POS and word segmentation等。

Distributed Representation在Section 3.1中已经讲到，现有的词向量表示都可以归到此类中，这类模型到现在已经提出了好几十种，主要是Feed Forward Neural Network based和Recurrent Neural Network based两大类。

在评测中包含有监督的评测任务：Chunking和NER，主要针对Brown Clustering和C&W，实验结果如下图：

从上图中可以看出，Brown Clustering比C&W要优，但是Brown Clustering的训练耗时要比SENNA和其他词向量要高得多。

以上实验，读者可以自行复现，参考网址：http://metaoptimize.com/ projects/wordreprs/

自然语言处理与神经网络结合的研究数见不鲜。现有的word embedding还只是词的浅层的表示，还需要通过组合的方式表达句子、篇章等，这些高级部分可以参考Oxford的一篇PHD thesis:Distributed Representations forCompositional Semantics。显然从这几年的会议发表论文（ACL COLING EMNLP），发展趋势越来越靠近Machine Learning，尤其Deep Learning（Neural Network）观点的论文特别多。简单的基于论文titile查询统计embedding出现次数，ACL(8), Coling(5), EMNLP(10)。从论文质量上看，含金量高的paper越来越少。

当然，自然语言处理中还需要很多基础、耗时的工作来建立形式化方法，比如knowledge base（Yago，NELL等）。当这些基础设施构建基本完成，我们可以做推理（Reasoning）等，更进步一步促进人工智能的发展。

13. Jeffrey Pennington，Richard Socher, Chris Manning. GloVe: Global Vectors for Word Representation. EMNLP(2014)

GloVe与word2vec对比的效果曾经被质疑过 其实word2vec效果差不多

14. Omer Levy, Yoav Goldberg.Neural Word Embedding as Implicit Matrix Factorization. NIPS. 2014.

将SGNS(Skip Gram with Negative Sampling)和矩阵分解等价分析，SGNS等价于分解PMI矩阵。文中作者基于谱方法（SVD）分解shifted PPMI的矩阵，得到了不错的效果（word sim上和word2vec类似）。作者还在arxiv提交了一个分析SGNS的note，结合看更加。