1. 程式人生 > >Word2Vec概述與基於Hierarchical Softmax的CBOW和Skip-gram模型公式推導

Word2Vec概述與基於Hierarchical Softmax的CBOW和Skip-gram模型公式推導

該文件是我在《Word2Vec_中的數學原理詳解》基礎上做的總結和一些新的描述,增加了程式碼與公式的對照和公式總彙(公式太多,彙總下看起來更方便),可以更加方便的加深對程式碼和公式理解。既然是總結,則一些很基礎的知識我沒有寫到,如果裡面的有些概念不熟悉,也可以自己查一下,網上資料還是很多的。

本筆記主要是對《Word2Vec中的數學原理詳解》的總結和補充,目的是加深自己的理解和認識。
1、概述
Word2vec 是 Google 在 2013 年開源的一款將詞表徵為實數值向量的高效工具。Word2vec 使用的是 Distributed representation 的詞向量表示方式。
Word2Vec原理主要用到的知識點有:Sigmoid函式,Bayes公式和Huffman編碼等。

這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述