引言

貝葉斯網路
Bayesian network
belief network
directed acyclic graphical model

藉由DAGs（有向無環圖）得到一組隨機變數{X1, X2, …, Xn}及其n組條件概率分佈（conditional probability distributions，or CPDs）。

聯合概率分佈

• 聯合分佈通常表示為一張表，包含狀態組合個數
  
• 如：I：學生智力 D：試卷難度 G：成績等級
  

條件概率分佈、邊緣分佈

貝葉斯定理

• 基本思想：
  通過先驗概率和類條件概率表示式，計算後驗概率。
• 先驗概率：
  指在得到任何新證據之前，統計的事件概率——即非條件概率；
• 後驗概率：
  考慮給定新證據之後，統計的事件概率——即條件概率，P(事件|證據)。
• 鏈式規則
  
• 貝葉斯定理鏈式法則（考慮多個證據）
  

貝葉斯網路 B(G,P)

• G:有向無環圖 （Directed Acyclic Graph）
• P:條件概率表（Conditional Probability Table）
• 節點——代表隨機變數
• 有向邊——代表節點間的（因果/依賴）關係，且存在條件概率表達這種關係的強度
• 每個節點有一個概率分佈：非根節點->條件概率；沒有父節點的根節點->先驗概率

利用條件獨立降低計算複雜度

• 條件獨立性可以由圖的結構判定
  
• 有向分離法（D-separation）

1. 在V型結構（匯合連線）兩個父節點間加上一條無向邊
2. 將所有有向邊改為無向邊
3. 有向分離：將變數集合{ zi }去掉後，x與y不連通，則在{ zi }一定的情況下，x與y相互獨立。
   

學習演算法

結構學習

基於專家

通常在故障診斷領域內，通常由專家給出隨機變數的因果圖，得到BN結構

基於資料:

訓練資料集找到結構最恰當的網路

基於評分函式

• K2評分函式，資料服從多項式分佈，Cooper and Herskovits
• BD評分函式，資料符合dirichlet分佈,Heckerman
  “最小描述長度”（Minimal Description Length, MDL）準則，看作資料壓縮任務。

對於n個變數，可能的結構數目

近似求解：貪心演算法

近似求解：半樸素貝葉斯

基於依賴關係（基於條件獨立性）

識別節點間（條件）獨立性關係，適用於結構稀疏的網路結構學習。

引數學習

學習節點的分佈引數，即每條邊對應的條件概率分佈

• 極大似然法
  假設的概率分佈形式（概率密度函式）是否符合真實資料分佈 對準確性影響很大
• 貝葉斯分類器
• 樸素貝葉斯
  假設屬性獨立地對分類效果產生影響，“屬性條件獨立性假設”
• 半樸素貝葉斯
  常用獨依賴估計：在類別之外最多僅依賴一個其他屬性
• 樸素貝葉斯和半樸素貝葉斯
  

推理演算法

已知變數觀測值（證據），通過計算回答 查詢

• 因果推理（自頂而下）
• 診斷推理（自頂而上）
• 支援推理：分析原因之間的相互影響，提供一些解釋

規模較小、不要求推理效率，精確：如聯結樹演算法

網路節點眾多、連線稠密、規模大，NP難，近似：如隨機抽樣演算法

馬爾科夫鏈蒙特卡洛（Markov chain Monte Carlo, MCMC）——Gibbs演算法

某個概率分佈隨機抽樣，生成一組樣本，然後從樣本出發近似估計要計算的量

EM演算法