GloVe模型_nerlove模型

2022-09-29 11:51:08 浏览数 (2)

大家好，又见面了，我是你们的朋友全栈君。

文章目录

  • 系列目录（系列更新中）
  • 1.概述
  • 2.统计共现矩阵
  • 3.使用GloVe模型训练词向量
    • 3.1.模型公式
    • 3.2.模型怎么来的
    • 3.3.Glove和skip-gram、CBOW模型对比
  • 4.实战教程

系列目录（系列更新中）

  • 第二讲 cs224n系列之word2vec & 词向量
  • word2vec进阶之skim-gram和CBOW模型（Hierarchical Softmax、Negative Sampling）
  • 第三讲 cs224n系列之skip-pram优化 & Global Vector by Manning & 词向量评价
    • 理解GloVe模型（ 总结）

1.概述

  • 模型目标：进行词的向量化表示，使得向量之间尽可能多地蕴含语义和语法的信息。
  • 输入：语料库
  • 输出：词向量
  • 方法概述：首先基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量。 开始 -> 统计共现矩阵 -> 训练词向量 -> 结束

2.统计共现矩阵

设共现矩阵为X，其元素为 X i , j X_{i,j} Xi,j​。 X i , j X_{i,j} Xi,j​的意义为：在整个语料库中，单词i和单词j共同出现在一个窗口中的次数。 举个栗子： 设有语料库：

代码语言：javascript复制
i love you but you love him i am sad

这个小小的语料库只有1个句子，涉及到7个单词：i、love、you、but、him、am、sad。 如果我们采用一个窗口宽度为5（左右长度都为2）的统计窗口，那么就有以下窗口内容：

窗口标号

中心词

窗口内容

0

i

i love you

1

love

i love you but

2

you

i love you but you

3

but

love you but you love

4

you

you but you love him

5

love

but you love him i

6

him

you love him i am

7

i

love him i am sad

8

am

him i am sad

9

sad

i am sad

窗口0、1长度小于5是因为中心词左侧内容少于2个，同理窗口8、9长度也小于5。 以窗口5为例说明如何构造共现矩阵： 中心词为love，语境词为but、you、him、i；则执行：

X l o v e , b u t = 1 X_{love,but} =1 Xlove,but​ =1 X l o v e , y o u = 1 X_{love,you} =1 Xlove,you​ =1 X l o v e , h i m = 1 X_{love,him} =1 Xlove,him​ =1 X l o v e , i = 1 X_{love,i} =1 Xlove,i​ =1

使用窗口将整个语料库遍历一遍，即可得到共现矩阵X。

3.使用GloVe模型训练词向量

3.1.模型公式

先看模型，代价函数长这个样子：

J = ∑ i , j N f ( X i , j ) ( v i T v j b i b j − l o g ( X i , j ) ) 2 J=sum_{i,j}^Nf(X_{i,j})(v_{i}^Tv_{j} b_{i} b_{j}-log(X_{i,j}))^2 J=i,j∑N​f(Xi,j​)(viT​vj​ bi​ bj​−log(Xi,j​))2

v i v_{i} vi​， v j v_{j} vj​是单词i和单词j的词向量， b i b_{i} bi​， b j b_{j} bj​是两个标量（作者定义的偏差项），f是权重函数（具体函数公式及功能下一节介绍），N是词汇表的大小（共现矩阵维度为N*N）。 可以看到，GloVe模型没有使用神经网络的方法。

3.2.模型怎么来的

那么作者为什么这么构造模型呢？首先定义几个符号：

X i = ∑ j = 1 N X i , j X_{i}=sum_{j=1}^NX_{i,j} Xi​=j=1∑N​Xi,j​

其实就是矩阵单词i那一行的和； P i , k = X i , k X i P_{i,k}=dfrac{X_{i,k}}{X_{i}} Pi,k​=Xi​Xi,k​​

条件概率，表示单词k出现在单词i语境中的概率； r a t i o i , j , k = P i , k P j , k ratio_{i,j,k}=dfrac{P_{i,k}}{P_{j,k}} ratioi,j,k​=Pj,k​Pi,k​​

两个条件概率的比率。 作者的灵感是这样的： 作者发现， r a t i o i , j , k ratio_{i,j,k} ratioi,j,k​这个指标是有规律的，规律统计在下表：

r a t i o i , j , k ratio_{i,j,k} ratioi,j,k​的值

单词j,k相关

单词j,k不相关

单词i,k相关

趋近1

很大

单词i,k不相关

很小

趋近1

很简单的规律，但是有用。 思想：假设我们已经得到了词向量，如果我们用词向量 v i v_{i} vi​、 v j v_{j} vj​、 v k v_{k} vk​通过某种函数计算 r a t i o i , j , k ratio_{i,j,k} ratioi,j,k​，能够同样得到这样的规律的话，就意味着我们词向量与共现矩阵具有很好的一致性，也就说明我们的词向量中蕴含了共现矩阵中所蕴含的信息。 设用词向量 v i v_{i} vi​、 v j v_{j} vj​、 v k v_{k} vk​计算 r a t i o i , j , k ratio_{i,j,k} ratioi,j,k​的函数为 g ( v i , v j , v k ) g(v_{i},v_{j},v_{k}) g(vi​,vj​,vk​)（我们先不去管具体的函数形式），那么应该有：

P i , k P j , k = r a t i o i , j , k = g ( v i , v j , v k ) dfrac{P_{i,k}}{P_{j,k}}=ratio_{i,j,k}=g(v_{i},v_{j},v_{k}) Pj,k​Pi,k​​=ratioi,j,k​=g(vi​,vj​,vk​)

即： P i , k P j , k = g ( v i , v j , v k ) dfrac{P_{i,k}}{P_{j,k}}=g(v_{i},v_{j},v_{k}) Pj,k​Pi,k​​=g(vi​,vj​,vk​)

即二者应该尽可能地接近； 很容易想到用二者的差方来作为代价函数： J = ∑ i , j , k N ( P i , k P j , k − g ( v i , v j , v k ) ) 2 J=sum_{i,j,k}^N(dfrac{P_{i,k}}{P_{j,k}}-g(v_{i},v_{j},v_{k}))^2 J=i,j,k∑N​(Pj,k​Pi,k​​−g(vi​,vj​,vk​))2

但是仔细一看，模型中包含3个单词，这就意味着要在NNN的复杂度上进行计算，太复杂了，最好能再简单点。 现在我们来仔细思考 g ( v i , v j , v k ) g(v_{i},v_{j},v_{k}) g(vi​,vj​,vk​)，或许它能帮上忙； 作者的脑洞是这样的：

  1. 要考虑单词i和单词j之间的关系，那 g ( v i , v j , v k ) g(v_{i},v_{j},v_{k}) g(vi​,vj​,vk​)中大概要有这么一项吧： v i − v j v_{i}-v_{j} vi​−vj​；嗯，合理，在线性空间中考察两个向量的相似性，不失线性地考察，那么 v i − v j v_{i}-v_{j} vi​−vj​大概是个合理的选择；
  2. r a t i o i , j , k ratio_{i,j,k} ratioi,j,k​是个标量，那么 g ( v i , v j , v k ) g(v_{i},v_{j},v_{k}) g(vi​,vj​,vk​)最后应该是个标量啊，虽然其输入都是向量，那內积应该是合理的选择，于是应该有这么一项吧： ( v i − v j ) T v k (v_{i}-v_{j})^Tv_{k} (vi​−vj​)Tvk​。
  3. 然后作者又往 ( v i − v j ) T v k (v_{i}-v_{j})^Tv_{k} (vi​−vj​)Tvk​的外面套了一层指数运算exp()，得到最终的 g ( v i , v j , v k ) = e x p ( ( v i − v j ) T v k ) g(v_{i},v_{j},v_{k})=exp((v_{i}-v_{j})^Tv_{k}) g(vi​,vj​,vk​)=exp((vi​−vj​)Tvk​)； 最关键的第3步，为什么套了一层exp()？ 套上之后，我们的目标是让以下公式尽可能地成立： P i , k P j , k = g ( v i , v j , v k ) dfrac{P_{i,k}}{P_{j,k}}=g(v_{i},v_{j},v_{k}) Pj,k​Pi,k​​=g(vi​,vj​,vk​)

即： P i , k P j , k = e x p ( ( v i − v j ) T v k ) dfrac{P_{i,k}}{P_{j,k}}=exp((v_{i}-v_{j})^Tv_{k}) Pj,k​Pi,k​​=exp((vi​−vj​)Tvk​)

即： P i , k P j , k = e x p ( v i T v k − v j T v k ) dfrac{P_{i,k}}{P_{j,k}}=exp(v_{i}^Tv_{k}-v_{j}^Tv_{k}) Pj,k​Pi,k​​=exp(viT​vk​−vjT​vk​)

即： P i , k P j , k = e x p ( v i T v k ) e x p ( v j T v k ) dfrac{P_{i,k}}{P_{j,k}}=dfrac{exp(v_{i}^Tv_{k})}{exp(v_{j}^Tv_{k})} Pj,k​Pi,k​​=exp(vjT​vk​)exp(viT​vk​)​

然后就发现找到简化方法了：只需要让上式分子对应相等，分母对应相等，即： P i , k = e x p ( v i T v k ) {P_{i,k}}={exp(v_{i}^Tv_{k})} Pi,k​=exp(viT​vk​)并且 P j , k = e x p ( v j T v k ) {P_{j,k}}={exp(v_{j}^Tv_{k})} Pj,k​=exp(vjT​vk​)

然而分子分母形式相同，就可以把两者统一考虑了，即： P i , j = e x p ( v i T v j ) {P_{i,j}}={exp(v_{i}^Tv_{j})} Pi,j​=exp(viT​vj​)

本来我们追求： P i , k P j , k = g ( v i , v j , v k ) dfrac{P_{i,k}}{P_{j,k}}=g(v_{i},v_{j},v_{k}) Pj,k​Pi,k​​=g(vi​,vj​,vk​)

现在只需要追求： P i , j = e x p ( v i T v j ) {P_{i,j}}={exp(v_{i}^Tv_{j})} Pi,j​=exp(viT​vj​)

两边取个对数： l o g ( P i , j ) = v i T v j log(P_{i,j})=v_{i}^Tv_{j} log(Pi,j​)=viT​vj​

那么代价函数就可以简化为： J = ∑ i , j N ( l o g ( P i , j ) − v i T v j ) 2 J=sum_{i,j}^N(log(P_{i,j})-v_{i}^Tv_{j})^2 J=i,j∑N​(log(Pi,j​)−viT​vj​)2

现在只需要在NN的复杂度上进行计算，而不是NN*N，现在关于为什么第3步中，外面套一层exp()就清楚了，正是因为套了一层exp()，才使得差形式变成商形式，进而等式两边分子分母对应相等，进而简化模型。 然而，出了点问题。 仔细看这两个式子： l o g ( P i , j ) = v i T v j 和 l o g ( P j , i ) = v j T v i log(P_{i,j})=v_{i}^Tv_{j}和log(P_{j,i})=v_{j}^Tv_{i} log(Pi,j​)=viT​vj​和log(Pj,i​)=vjT​vi​

l o g ( P i , j ) log(P_{i,j}) log(Pi,j​)不等于 l o g ( P j , i ) log(P_{j,i}) log(Pj,i​)但是 v i T v j v_{i}^Tv_{j} viT​vj​等于 v j T v i v_{j}^Tv_{i} vjT​vi​；即等式左侧不具有对称性，但是右侧具有对称性。 数学上出了问题。 补救一下好了。 现将代价函数中的条件概率展开： l o g ( P i , j ) = v i T v j log(P_{i,j})=v_{i}^Tv_{j} log(Pi,j​)=viT​vj​

即为: l o g ( X i , j ) − l o g ( X i ) = v i T v j log(X_{i,j})-log(X_{i})=v_{i}^Tv_{j} log(Xi,j​)−log(Xi​)=viT​vj​

将其变为： l o g ( X i , j ) = v i T v j b i b j log(X_{i,j})=v_{i}^Tv_{j} b_{i} b_{j} log(Xi,j​)=viT​vj​ bi​ bj​

即添了一个偏差项 b j b_{j} bj​，并将 l o g ( X i ) log(X_{i}) log(Xi​)吸收到偏差项 b i b_{i} bi​中。 于是代价函数就变成了： J = ∑ i , j N ( v i T v j b i b j − l o g ( X i , j ) ) 2 J=sum_{i,j}^N(v_{i}^Tv_{j} b_{i} b_{j}-log(X_{i,j}))^2 J=i,j∑N​(viT​vj​ bi​ bj​−log(Xi,j​))2

然后基于出现频率越高的词对儿权重应该越大的原则，在代价函数中添加权重项，于是代价函数进一步完善： J = ∑ i , j N f ( X i , j ) ( v i T v j b i b j − l o g ( X i , j ) ) 2 J=sum_{i,j}^Nf(X_{i,j})(v_{i}^Tv_{j} b_{i} b_{j}-log(X_{i,j}))^2 J=i,j∑N​f(Xi,j​)(viT​vj​ bi​ bj​−log(Xi,j​))2

具体权重函数应该是怎么样的呢？ 首先应该是非减的，其次当词频过高时，权重不应过分增大，作者通过实验确定权重函数为： f ( x ) = { ( x / x m a x ) 0.75 , if x < x m a x 1 , if x > = x m a x f(x) = begin{cases} (x/xmax)^{0.75}, & text{if x >= xmax

到此，整个模型就介绍完了。

3.3.Glove和skip-gram、CBOW模型对比

Cbow/Skip-Gram 是一个local context window的方法，比如使用NS来训练，缺乏了整体的词和词的关系，负样本采用sample的方式会缺失词的关系信息。 另外，直接训练Skip-Gram类型的算法，很容易使得高曝光词汇得到过多的权重

Global Vector融合了矩阵分解Latent Semantic Analysis (LSA)的全局统计信息和local context window优势。融入全局的先验统计信息，可以加快模型的训练速度，又可以控制词的相对权重。

我的理解是skip-gram、CBOW每次都是用一个窗口中的信息更新出词向量，但是Glove则是用了全局的信息（共线矩阵），也就是多个窗口进行更新

4.实战教程

GloVe 教程之实战入门 python gensim 词向量

参考链接： 理解GloVe模型

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/193506.html原文链接：https://javaforall.cn

bi sum vi

0 人点赞