最近看《統計自然語言處理》，遇到不少公式，在此做一下筆記，寫下一些關鍵知識點和關鍵公式的推導過程。下面是書中第二章的主要內容。

2.1 概率論基本概念

2.1.1 概率

概率的三個公理
(1) 非負性： P(A)≥0
(2) 規範性： P(Ω)=1
(3) 可列可加性：
事件A1,A2,...,Ai,...互不相容（Ai∩Aj=∅），則有

P(⋃i=0∞Ai)=∑i=0∞P(Ai)

2.1.3 條件概率

如果A和B是樣本空間Ω上的兩個事件，P(B)>0，那麼在給定B時A的條件概率P(A∣B)為

P(A∣B)=P(A∩B)P(B)

概率的乘法定理

P(A

∩B)=P(B)P(A∣B)=P(A)P(B∣A)

其一般形式為

P(A1∩⋯∩An)=P(A1)P(A2∣A1)P(A3∣A1∩A2)⋯P(An∣⋂i=1n−1Ai)

條件概率的三個基本性質：
(1) 非負性： P(A∣B)≥0
(2) 規範性： P(Ω∣B)=1
(3) 可列可加性：如果事件A1,A2,⋯,Ai,⋯互不相容，則

P(∑i=1∞Ai∣B)=∑i=1∞P(Ai∣B)

如果Ai,Aj條件獨立，當且僅當

P(Ai,Aj∣B)=P(Ai∣B)P(Aj∣B)

2.1.4 貝葉斯法則

假設B是樣本空間Ω的一個劃分，即∑iBi=Ω。如果A⊆⋃iBi，並且Bi互不相交，那麼A

=∑i=1BiA，於是P(A)=∑i=1P(BiA)。由乘法定理可得

P(A)=∑iP(A∣Bi)P(Bi)

上式稱為全概率公式。
下面給出貝葉斯法則的精確描述。
假設A為樣本空間的事件，如果A⊆⋃i

相關推薦

統計自然語言處理概率論和資訊理論基本概念及其推導過程

最近看《統計自然語言處理》，遇到不少公式，在此做一下筆記，寫下一些關鍵知識點和關鍵公式的推導過程。下面是書中第二章的主要內容。 2.1 概率論基本概念 2.1.1 概率 概率的三個公理 (1) 非負性： P(A)≥0 (2) 規範性： P(

《統計自然語言處理基礎》作者Christopher D. Manning指出的NLP研究趨勢

ble text 自然語言處理 nlp pen rep 向量 att ext 20017-2018年本書作者Christopher D. Manning 在Bytedance演講時指出的NLP研究趨勢： (1) word2vec -> GloVe詞向量 (2) MT問

統計自然語言處理——緒論

2018年11月01日 09:33:10 稀飯粥9999 閱讀數：4 標籤： NLP

統計自然語言處理

2018年11月01日 16:44:12 稀飯粥9999 閱讀數：2 標籤： NLP

讀《統計自然語言處理》——語義消除歧義

我們知道很多詞語都有很多意思或語義，而在具體的語境中，詞語有某種特定的意思。而獨立於上下文來考慮詞語意思，語義一般都會出現語義歧義。統計自然語言處理不得不考慮如何消除歧義問題。 消除歧義的任務就是確定一個多義詞在一個特定的語境中使用哪一種語義。通過考慮詞彙使用的上下文完

基於python的自然語言處理 分類和標註詞彙之5.5N-gram標註

一元標註器unigram tagging一元標註器利用一種簡單的統計演算法，對每個識別符號分配最有可能的標記。建立一元標註器的技術稱為訓練。>>> fromnltk.corpus import brown>>> importnltk>

Python自然語言處理------分類和標註詞彙

寫在前面一篇讀書筆記。1. 使用詞性標註器將詞彙按它們的詞性（parts-of-speech，POS）分類以及相應的標註它們的過程被稱為詞性標註（part-of-speech tagging, POS tagging）或乾脆簡稱標註。詞性也稱為詞類或詞彙範疇。用於特定任務的標

統計自然語言處理梳理一：分詞、命名實體識別、詞性標註

 進行統計自然語言處理系統梳理，學習資料《統計自然語言處理.宗成慶》。 一、自動分詞          詞，詞是最小的能夠獨立運用的語言單位。          自動分詞問題由來。中文（還有日語、越南語、藏語等）的文字不像西方屈折語的文字，詞與詞之間沒有空格之類的標註來顯示

python3.6實現中文分詞統計-自然語言處理小專案

前言    本文分為三部分，第一部分是安裝兩個中文分詞工具包，第二部分是對中文字串進行分詞，第三部分是進一步對中文文字進行分詞。Part 1 安裝中文分詞工具背景：已經安裝了python3.6，設定好環

統計自然語言處理（馬爾可夫模型）

目的 1.瞭解什麼馬爾科夫模型的三個問題 ·狀態概率的計算（前向演算法） ·馬爾科夫譯碼過程（維特比演算法） ·馬爾科夫引數求解（EM演算法 前後向演算法） 隱馬爾科夫模型（HMM） 這裡筆者假設大家大致瞭解馬爾科夫模型，即馬爾科夫鏈的節點狀態

讀《統計自然語言處理》——句法分析

 在中文的自然語言處理種，句法分析是一個比較重要的部分。     句法分析，英文為Parsing，指對句子種的詞語語法功能進行分析。一個完整的漢語句子，一般有主語、謂語、賓語，複雜一些的句子就會出

統計自然語言處理基礎學習筆記(7)——句法分析

    在中文的自然語言處理種，句法分析是一個比較重要的部分。     句法分析，英文為Parsing，指對句子種的詞語語法功能進行分析。一個完整的漢語句子，一般有主語、謂語、賓語，複雜一些的句子就會出現各種各樣的依存關係，包括補語、定語、狀語、並列、同位語、數量、介賓、連

統計自然語言處理（第二版）筆記1

這也 輸出 法規 ret 規則 輸入 允許 信號 analysis 第一章緒論 1.1基本概念 1.1.1語言學與語音學 語言學（linguistics）是指對語言的科學研究。 語音學（phonetics）是研究人類發音特點，特別是語音發音特點，並提出各種語音描述、

自然語言處理(二)概率論資訊理論基礎

概率論 概率 概率的統計定義 頻率 事件A在n次重複隨機試驗中出現的次數與n的比值。 概率 在同一條件下做的大量重複試驗中，若事件A發生的頻率總是在一個確定的常數p附近擺動，並且逐漸穩定於p，那麼數p就表示事件A發生的可能性大小，併成為事件A的概率. 概率

自然語言處理學習3：中文分句re.split()，jieba分詞和詞頻統計FreqDist

1. 使用re.split() 分句，re.split(delimiter, text) import jieba import re # 輸入一個段落，分成句子，可使用split函式來實現 paragraph = "生活對我們任何人來說都不容易！我們必須努力，最重要的是

數學之美讀書筆記——自然語言處理教父和他的弟子們

自然語言處理 jpg alt 自然 .cn 讀書筆記 bsp blog 處理 數學之美讀書筆記——自然語言處理教父和他的弟子們

網頁和自然語言處理中的字符問題（半角和全角）

字符轉換 處理 unicode 指點 介紹 合並 圖片 十六進制 文本 　　先來看一個截圖，爬蟲得到的結果，裏面99的字體貌似有點奇怪，剛開始以為是不同的字體，在Excel裏選中調整字體時發現沒有變化，後來經過大佬指點，才知道是全角數字（原諒我小白無知）。為了統一起見，把所

Python自然語言處理—統計詞頻

一 資料的預處理 本文所有的例子我都將使用中文文字進行，所以在分析前需要對中文的文字進行一個預處理的過程（暫時只用的分詞，去除停用詞的部分後面介紹） # -*- coding:utf-8 -*- from nltk import FreqDist import jieba import py

斯坦福大學-自然語言處理入門 筆記 第十四課 CGSs和PCFGs

一、概率上下文無關文法（(Probabilistic) Context-Free Grammars） 1、上下文無關文法（Context-Free Grammars） 我們也可以稱之為片語結構語法(Phrase structure grammars) 由四個成分構成G=

斯坦福大學-自然語言處理入門 筆記 第十三課 統計語言句法分析（prasing）

課程來源：Introduction to NLP by Chris Manning & Dan jurafsky 關於專用名詞和概念：剛接觸NLP領域，所以有些專有名詞的翻譯和專有概念可能會存在一定的偏誤，隨著學習的深入，我會隨時更新改正。 一、關於句法結構的兩種看法