跳转至

Word2Vec 讲解

介绍

需要复习 手写 Word2Vec 源码: https://blog.csdn.net/u014595019/article/details/51943428

  • 2013年，Google开源了一款用于词向量计算的工具—— word2vec，引起了工业界和学术界的关注。
  • word2vec 算法或模型的时候，其实指的是其背后用于计算 word vector 的 CBoW 模型和 Skip-gram 模型
  • 很多人以为 word2vec 指的是一个算法或模型，这也是一种谬误。
  • 因此通过 Word2Vec 技术 输出的词向量可以被用来做很多NLP相关的工作，比如聚类、找同义词、词性分析等等.

适用场景

  1. cbow适用于小规模，或者主题比较散的语料，毕竟他的向量产生只跟临近的字有关系，更远的语料并没有被采用。
  2. 而相反的skip-gram可以处理基于相同语义，义群的一大批语料。

CBoW 模型（Continuous Bag-of-Words Model）

  • 连续词袋模型（CBOW）常用于NLP深度学习。
  • 这是一种模式，它试图根据目标词 之前 和 之后 几个单词的背景来预测单词（CBOW不是顺序）。
  • CBOW 模型: 能够根据输入周围n-1个词来预测出这个词本身.
    • 也就是说，CBOW模型的输入是某个词A周围的n个单词的词向量之和，输出是词A本身的词向量.

![CBoW 模型/img/NLP/Word2Vce/CBoW.png)

Skip-gram 模型

  • skip-gram与CBOW相比，只有细微的不同。skip-gram的输入是当前词的词向量，而输出是周围词的词向量。
  • Skip-gram 模型: 能够根据词本身来预测周围有哪些词.
    • 也就是说，Skip-gram模型的输入是词A本身，输出是词A周围的n个单词的词向量.

![Skip-gram 模型/img/NLP/Word2Vce/Skip-gram.png)

明天看看这个案例: https://blog.csdn.net/lyb3b3b/article/details/72897952

补充: NPLM - Ngram 模型

  • n-gram 模型是一种近似策略，作了一个马尔可夫假设: 认为目标词的条件概率只与其之前的 n 个词有关
  • NPLM基于 n-gram, 相当于目标词只有上文。

参考资料:

  1. https://www.cnblogs.com/iloveai/p/word2vec.html
回到顶部