文章目錄

• 語言模型基本概念
• n元文法(n-gram)
• 語言模型引數估計
• 引數估計
• 資料平滑
• 效能評價
• 語言模型應用
• 改進的語言模型
• n-gram存在的問題
• 基於快取的語言模型
• 基於混合方法的語言模型
• 參考資料

語言模型基本概念

用數學的方法描述語言規律，即用句子 $S=$

對語句合理性判斷：

• 規則法：判斷是否合乎語法、語義(定性分析)
• 概率統計法：通過可能性大小來判斷(定量計算)

模型思想：
$p(S) = p(w_1)p(w_2|w_1)\dots p(w_n|w_1\dots w_{n-1}) = \sum_{i=1}^np(w_i|w_1\cdots w_{-_1})$
當 $i=1$時， $p(w_1|w_0) = p(w_1)$

輸入：句子S

輸出：句子概率 $p(S)$

引數： $p(w_i|w1,\dots w_{i-1})$

計算第 $i$個統計基元，如果共有 $L$個不同的基元，那麼第 $i$個基元將會有 $L^i$種不同的歷史情況. 如果L=5000, m=3,引數的數目將達到1250億！而一個漢語句子平均有有22個詞/字！

解決方法：
採用馬爾可夫方法：假設任意一個詞 $w_i$出現的概率只與它前面的 $w_{i-1}$有關.

n元文法(n-gram)

一個詞有前面的n-1個詞決定.

理論上，n越大越好，但同樣引數也會增多，通常採用3元文法.

語言模型引數估計

引數估計

通過模型訓練獲取模型中所有的模型引數即條件概率.

引數的學習方法：最大似然估計MLE

由於語料是有限的，不可能包含所有可能出現的詞的組合，因此在必然存在零概率問題.

資料平滑

基本思想：

調整最大似然估計的概率值，使零概率增加，非零概率下調.

基本目標：

測試樣本的語言模型越小越好

基本約束:

$\sum_{w_j}p(w_i|w_1,w_2\dots w_{i-1})=1$

方法

• 加1法

  每一種情況出現的次數都加1

• 減值法/折扣法

  修改訓練樣本中事件的實際技術，使樣本中的事件概率之和小於1，剩餘的概率分配給未見概率.

  Good-Turing、Back-off、絕對減值、線性減值

• 刪除插值法

  用低階文法估計高階文法，即當3-gram的值不能從訓練資料中估計時，採用2-gram代替.

效能評價

1. 實用方法

2. 理論方法

   計算模型對於測試樣本的困惑度，n-gram對於英文文字的困惑度一般為50~10000，對應於交叉熵範圍為6-10bits/word.

語言模型應用

1. 計算句子概率
2. 給定若干詞，預測下一個詞

改進的語言模型

n-gram存在的問題

1. 對語料敏感，訓練引數難以反映不同領域之間語言規律上的差異.
2. 某些在文字中很少出現，但在某區域性文字中大量出現的情況.

基於快取的語言模型

在文字中剛剛出現過的詞在後邊的句子中再次出現的可能性往往較大，比標準的n-gram模型預測的概率要大.

自適應方法：

• 將k個最近出現過的詞存於一個快取中，作為獨立的訓練資料.
• 通過這些資料，計算動態頻度分佈資料.
• 將動態頻度分佈資料與靜態分佈資料通過線性插值的方法結合
  $\hat{p}_{}cache](w_i|w_1^{i-1}) = 1/K\sum_{j=i-k}^{i-1}I_{w_j=w_i}\\ \hat{p}(w_i|w_1^{i-1}) = \lambda\hat{p}_{cache}(w_i|w_1^{i-1}) + (1-\lambda)\hat{p}_{n-gram}(w_i|w_{i-n+1}^{i-1})$
  其中， $0<\lambda<1$，為插值係數，可以通過EM演算法求得.

基於混合方法的語言模型

大規模訓練語料來自不同領域，在主體、風格都有一定的差異，而測試預料通常是同源的，為了獲得最佳效能，語言模型必須適應各種不同型別的語料對齊效能的影響.

自適應方法：

• 將訓練語料聚為n類，語言模型劃分成n個子模型.
• 確定適當的訓練語料子集，並利用這些預料建立特定的語言模型.
• 在模型執行時識別測試預料的主題或主題的集合.
• 整個語言模型的概率通過下面的線性插值公式計算得到.
  $ p ^ ( w i ∣ w 1 i − 1 ) = ∑ j 相關推薦 自然語言處理(三)語言模型 文章目錄 語言模型基本概念 n元文法(n-gram) 語言模型引數估計 引數估計 資料平滑 效能評價 語言模型應用 改進的語言模型 n-gram存在的問題 自然語言處理詞向量模型-word2vec 技術分享 alt 自然語言 inf bsp word 學習 向量 9.png 自然語言處理與深度學習： 語言模型： N-gram模型： 自然語言處理詞向量模型-word2vec python 自然語言處理 統計語言建模 - （n-gram模型） N-gram語言模型 考慮一個語音識別系統，假設使用者說了這麼一句話：“I have a gun”，因為發音的相似，該語音識別系統發現如下幾句話都是可能的候選：1、I have a gun. 2、I have a gull. 3、I have a gub. 那麼問題來了，到底哪一個是正確答案呢？ 自然語言處理-LDA主題模型 一、LDA主題模型簡介 LDA(Latent Dirichlet Allocation)中文翻譯為：潛在狄利克雷分佈。LDA主題模型是一種文件生成模型，是一種非監督機器學習技術。它認為一篇文件是有多個主題的，而每個主題又對應著不同的詞。一篇文件的構造過程，首先是以一定的概率 自然語言處理中CNN模型幾種常見的Max Pooling操作 CNN是目前自然語言處理中和RNN並駕齊驅的兩種最常見的深度學習模型。圖1展示了在NLP任務中使用CNN模型的典型網路結構。一般而言，輸入的字或者詞用Word Embedding的方式表達，這樣本來一維的文字資訊輸入就轉換成了二維的輸入結構，假設輸入X包含m個字元，而每個 自然語言處理神經網路模型入門 主要內容 自然語言輸入編碼 前饋網路 卷積網路 迴圈網路(recurrent networks ) 遞迴網路(recursive networks) 自動計算梯度的計算圖抽象（ the computation graph abstraction for aut 自然語言處理之語言模型綜述 一 文法型語言模型 文法型語言模型是人工編制的語言學文法，文法規則來源於語言學家掌握的語言學知識和領域知識，但這種語言模型不能處理大規模真實文字。 二 統計語言模型 統計語言模型常用的思想是用一個詞在句子中的neighborhood表示該詞 主要的統計語言模型有： 1.上 python 自然語言處理 統計語言建模（1/2） 一、計算單詞頻率 例子：生成1-gram，2-gram，4-gram的Alpino語料庫的分詞樣本 import nltk  # 1 - gram from nltk.util import ngrams from nltk.corpus import alp 未來已來，自然語言處理人機語言互動，你瞭解多少？   自然語言處理（Natural Language Processing 簡稱 NLP）是人工智慧領域非常重要的一部分，作為電腦科學中一門重要的學科，研究它的目的是為了解決人機對話問題，通俗理解就是讓智慧裝置理解並生成人類語言。 現在對NLP的研究和處理，一般 自然語言處理(NLP) 三：詞袋模型 + 文字分類 1.詞袋模型 （BOW,bag of words) 用詞頻矩陣作為每個樣本的特徵 Are you curious about tokenization ? Let’s see how it works! we need to analyze a coupl 自然語言處理中傳統詞向量表示VS深度學習語言模型（三）：word2vec詞向量         在前面的部落格中，我們已經梳理過語言表示和語言模型，之所以將這兩部分內容進行梳理，主要是因為分散式的詞向量語言表示方式和使用神經網路語言模型來得到詞向量這兩部分，構成了後來的word2vec的發展，可以說是word2vec的基礎。1.什麼是詞向量        自然語言處理---用隱馬爾科夫模型（HMM）實現詞性標註---1998年1月份人民日報語料---learn---test---evaluation---Demo---java實現 fileinput 流程 n) 一次 tostring model pen mem rbd 先放上一張Demo的測試圖 測試的句子及每個分詞的詞性標註為： 目前/t 這/rzv 條/q 高速公路/n 之間/f 的/ude1 路段/n 已/d 緊急/a 封閉/v 。/ 自然語言處理--LDA主題聚類模型 src 隨機 pos 一個 改變 筆記 整體 應該 定性 LDA模型算法簡介： 算法 的輸入是一個文檔的集合D={d1, d2, d3, ... , dn}，同時還需要聚類的類別數量m；然後會算法會將每一篇文檔 di 在 所有Topic上的一個概率值p；這樣每篇 自然語言處理中的語言模型預訓練方法 16px 預測 網絡語言 緩解 lang 大數 一中 標準 小數 自然語言處理中的語言模型預訓練方法 最近，在自然語言處理（NLP）領域中，使用語言模型預訓練方法在多項NLP任務上都獲得了不錯的提升，廣泛受到了各界的關註。就此，我將最近看的一些相關論文進行總結，選取了幾 自然語言處理——CBOW模型 CBOW一個用於快速訓練得到詞向量的神經網路模型，它的核心原理是中心詞的前R個詞和後R個詞來預測中心詞。 它的網路模型相比NNLM模型來說，最大的變化是直接去除隱層的非線性啟用過程，以此來加速網路的訓練速度。 CBOW的輸入： 假設中心詞 [NLP自然語言處理]谷歌BERT模型深度解析 BERT模型程式碼已經發布，可以在我的github: NLP-BERT--Python3.6-pytorch 中下載，請記得start哦 目錄 一、前言 二、如何理解BERT模型 三、BERT模型解析       論文的核心：詳解BE 斯坦福大學-自然語言處理與深度學習（CS224n） 筆記 第三課 詞向量（2） 一、word2vec 1、回顧：skip-grams word2vec的主要步驟是遍歷整個語料庫，利用每個視窗的中心詞來預測上下文的單詞，然後對每個這樣的視窗利用SGD來進行引數的更新。 對於每一個視窗而言，我們只有2m+1個單詞（其中m表示視窗的半徑），因此我們計算出來的梯度向量是 斯坦福大學-自然語言處理入門 筆記 第十一課 最大熵模型與判別模型（2） 一、最大熵模型 1、模型介紹 基本思想：我們希望資料是均勻分佈的，除非我們有其他的限制條件讓給我們相信資料不是均勻分佈的。均勻分佈代表高熵（high entropy）。所以，最大熵模型的基本思想就是我們要找的分佈是滿足我們限制條件下，同時熵最高的分佈。 熵：表示分佈的不 斯坦福大學-自然語言處理入門 筆記 第八課 最大熵模型與判別模型 一、生成模型與判別模型 1、引言 到目前為止，我們使用的是生成模型（generative model)，但是在實際使用中我們也在大量使用判別模型（discriminative model)，主要是因為它有如下的優點： 準確性很高 更容易包含很多和 斯坦福大學-自然語言處理入門 筆記 第四課 語言模型 一、介紹N-grams 1、概率語言模型 對每個句子給出一個概率，用以判斷機器翻譯中哪個句子是最佳的選擇，拼寫校準中哪個句子可能出現錯誤。 目標：計算句子或者是一系列單詞的概率 $