現在流行的自然語言處理方法中，主要分為基於統計的經典模型和基於火熱的深度學習模型.統計模型主要會涉及到概率論和資訊理論方面的知識，在這裡會首先對其進行回顧.

未完

資訊理論

噪聲通道模型

在自然語言處理的過程中，常常類比於訊號傳輸的過程，將預處理的語料文本當做訊號源，編碼後資訊通過一個通道，再經過解碼得到訊號.這樣一個噪聲通道模型的目標是就是通過帶有噪聲的輸出訊號恢復輸入訊號.

這裡寫圖片描述

這一過程由貝葉斯公式可以表達為

I = \arg m a x_{I} P (I | O) = \arg m a x_{I} \frac{P (O | I) P (I)}{P (O)} = \arg m a x_{I} P (O | I) P (I)

以上的描述框架可以放在語音識別（聲訊號對應於一個語句，需要找到對應可能性最大的文字），機器翻譯（從源語言到目標語言），詞性標註，文字識別等

N-Gram語言模型

再到語言模型，語言模型的本意就是根據語料庫確定詞序列出現的概率，即 $P (S) = P (w_{1}, w_{2}, . . ., w_{n}) = P (w_{1}) P (w_{2} | w_{1}) P (w_{3} | w_{1}, w_{2}) . . . P (w_{n} | w_{1}, . ., w_{n - 1})$ ，但是這種方法需要解決引數空間過大以及資料稀疏的問題，因此借鑑馬爾科夫類似的思想，即下一個詞的出現僅僅依賴於前面的幾個詞，根據依賴前面詞的數量分為bigram

，trigram等,上式也就簡化為

P (w_{1}) P (w_{2} | w_{1}) . . . P (w_{n} | w_{1}, . ., w_{n - 1}) = P (w_{1}) P (w_{2} | w_{1}) . . . P (w_{n} | w_{n - 1})

或者

P (w_{1}) P (w_{2} | w_{1}) . . . P (w_{n} | w_{1}, . ., w_{n - 1}) = P (w_{1}) P (w_{2} | w_{1}) . . . P (w_{n} | w_{n - 1} ， w_{n - 2})

N-gram也就是對下一個詞的條件概率逼近，N-gram

的通用表示式為

P (w_{n} | w_{1}^{n - 1}) \sim P (w_{n} | w_{n - N + 1}^{n - 1})

自然語言處理（一）——基礎

資訊理論

噪聲通道模型

N-Gram語言模型

自然語言處理（一）——基礎

python自然語言處理（一）

系統學習自然語言處理（一）--綜述

Python與自然語言處理（一）搭建環境

python自然語言處理（一）之中文分詞預處理、統計詞頻

深度學習與自然語言處理（一）

自然語言處理（一）

Pyhon 自然語言處理（一）NLTK及語料庫下載

使用 spacy 進行自然語言處理（一）

初識NLP 自然語言處理（一）

Python與自然語言處理（三）：Tensorflow基礎學習

python自然語言處理（二）

自然語言處理（3）——Word2Vec理論

關於自然語言處理（NLP）的個人學習資料

《使用Python進行自然語言處理（Nltk）》2

自然語言處理（NLP）——分詞統計可能用到的模組方法

自然語言處理（NLP）- HMM+VITERBI演算法實現詞性標註（解碼問題）（動態規劃）（Python實現）

Python 自然語言處理（NLP）工具庫彙總

Pytext：Facebook基於PyTorch的自然語言處理（NLP）開源框架

Scala 語言入門（一）基礎語法和函式使用

自然語言處理（一）——基礎

資訊理論

噪聲通道模型

N-Gram語言模型

相關推薦