Glove 细节介绍

2020-09-14 14:13:27 浏览数 (1)

Glove全称Global Vectors for Word Representation,是目前应用范围最广的词向量,但是它基于通用语料训练,所以适合通用语言的自然处理任务,如果你的词库是领域特定词库,使用word2vec或者fasttext自己训练会比较好。

Glove模型可以简单概括为:基于通用语料,获得词频统计,学习词语表征)

模型公式
推导过程如下

即频率越高权重越大,但是也不能过分增大。

参考 (如果你觉得这里不详细的话,可以看下面这篇)

理解GloVe模型( 总结)

0 人点赞