2. 程式人生 > >Forward-Backward演算法做HMM的Inference

Forward-Backward演算法做HMM的Inference

阿新 • • 發佈：2018-12-30

馬爾可夫鏈的三個基本問題

1.已知一個序列，他的likelihood是什麼樣的。（使用前向演算法）
2.求解一個最好的狀態鏈（Viterbi演算法）
3.優化或者重新估計這個HMM，比如重新估計發散矩陣和轉換矩陣（Baum-Welch演算法）

F/B演算法是一個求解HMM的重要演算法，它是動態規劃（Dynamic programming, 這個名字的翻譯有點意思）的重要一種。

F/B前提：假設發散概率矩陣（Emission Probablity Matrix）, 轉換矩陣（Transition Probabilty Matrix) , 和初始概率（Initial probability）已知。

F/B目的：求在已知的觀測資料X下的某個狀態Z的概率。

F/B為什麼要分成兩部分：前向演算法（Forward）和後向演算法（Backward）

首先來看我們要求的概率p(Zk|X):

p(Zk|X)∝p(Zk,X)=p(Xk+1:n|Zk,X1:k)p(Zk,X1:k)(1)
在觀測資料X固定的情況下，p(Zk|X)會等比例於p(Zk,X)。
根據Chain Rule，可以將p(Zk,X)分解，這裡n的意思是X的數量。

HMM的Graphic model

根據圖論的D-separation,我們可以將p(Xk+1:n|Zk,X1:k)中的X1:k去掉。因為如果我們依賴於Zk的話，Zk跟X1:k是條件不相關的，所以可以刪掉。
那麼p

(Zk|X)就變成了：

p(Zk|X)∝p(Zk,X1:k)p(Xk+1:n|Zk)(2)
(2)式中右邊的前半部分就是前向演算法，後半部分是後向演算法。

前向演算法（Forward）

前向演算法可以計算給定了觀測資料後，這些資料跟目前HMM的引數的相似程度。或者說來計算觀測資料在這些引數下的似然（likelihood）。前向演算法要求p(Zk,X1:k),這裡要明確的是狀態的序號是跟觀測序列的結尾是同步的。這個過程可以叫做filtering，就是在求這個序列的後驗分佈。我們可以用D-separation來繼續化解。

p(Zk,X1:k)=∑Zk−1=1mp(Zk,Zk−1,X
1:k)
m代表了狀態Z的數量，根據邊際概率，我們得到了這個式子。然後根據Chain rule:
=∑Zk−1=1mp(Xk|Zk,Zk−1,X1:k−1)p(Zk|Zk−1,X1:k−1)p(Zk−1,X1:k−1)
使用D-separation
=∑Zk−1=1mp(Xk|Zk)p(Zk|Zk−1)p(Zk−1,X1:k−1)
這個式子可以解釋成為對於每個Zk來說先計算它的發散概率和轉換概率乘以上一個Zk的對應的式子，然後把它們全部加起來。這樣就構成了一個遞迴的式子。動態規劃的最基本的一個思想就是要用遞迴的方法來解決問題。下面貼一段C語言的前向演算法的程式碼： 
typedef struct  
{  
int N; /* 隱藏狀態數目;Q={1,2,…,N} */  
int M; /* 觀察符號數目; V={1,2,…,M}*/  
double **A; /* 狀態轉移矩陣A[1..N][1..N]. a[i][j] 是從t時刻狀態i到t+1時刻狀態j的轉移概率 */  
double **B; /* 混淆矩陣B[1..N][1..M]. b[j][k]在狀態j時觀察到符合k的概率。*/  
double *pi; /* 初始向量pi[1..N]，pi[i] 是初始狀態概率分佈 */  
} HMM;  

前向演算法程式示例如下：  
/* 
　函式引數說明： 
　*phmm：已知的HMM模型；T：觀察符號序列長度； 
　*O：觀察序列；**alpha：區域性概率（到目前狀態為止所有概率的和）；*pprob：最終的觀察概率 
*/  
void Forward(HMM *phmm, int T, int *O, double **alpha, double *pprob)  
{  
　　int i, j; 　　/* 狀態索引 */  
　　int t; 　　 /* 時間索引 */  
　　double sum; /*求區域性概率時的中間值 */  
　　/* 1. 初始化：計算t=1時刻所有狀態的區域性概率： */  
　　for (i = 1; i <= phmm->N; i++)  
　　　　alpha[1][i] = phmm->pi[i]* phmm->B[i][O[1]];  
　　  
　　/* 2. 歸納：遞迴計算每個時間點，t=2，… ，T時的區域性概率 */  
　　for (t = 1; t < T; t++)  
　　{  
　　　　for (j = 1; j <= phmm->N; j++)  
　　　　{  
　　　　　　sum = 0.0;  
　　　　　　for (i = 1; i <=  
 

            
  

           

              
              

            

            
相關推薦

			   
            
            
            
 

    


    
    
Forward-Backward演算法做HMM的Inference

     
 
							
							
							馬爾可夫鏈的三個基本問題

1.已知一個序列，他的likelihood是什麼樣的。（使用前向演算法） 
2.求解一個最好的狀態鏈（Viterbi演算法） 
3.優化或者重新估計這個HMM，比如重新估計發散矩陣和轉換矩陣（Baum-Welch演算法）



F/B 



  
 

    


    
    
【SciKit-Learn學習筆記】8：k-均值演算法做文字聚類,聚類演算法效能評估

     
  
 
  
  
 學習《scikit-learn機器學習》時的一些實踐。 
  
 原理見K-means和K-means++的演算法原理及sklearn庫中引數解釋、選擇。 
 sklearn中的KMeans 
 from sklearn.datasets import make_blobs
from m 



  
 

    


    
    
【ML--14】在R語言中使用SVM演算法做多分類預測

     
 
							
							
							我們採用iris資料集進行學習和測試，最後看看它的效果。 
1、載入SVM演算法包

library(e1071)

2、劃分訓練和測試集

劃分訓練和測試集時，採用set.seed函式設隨機數種子，這能保證劃分得到的訓練和測試集與C5.0完全相同，方便後續測試 



  
 

    


    
    
用樸素貝葉斯分類演算法做中文文字分類

     
 
							
							
							一. 樸素貝葉斯分類演算法的原理

樸素貝葉斯分類器基於屬性條件獨立假設：對於已知類別，假設所有屬性相互獨立，也就是說，假設每個屬性獨立地對分類結果產生影響。 
設待分類的樣本屬性集為TT，其中包含nn個屬性，分別為t1,t2,t3...tnt1,t2,t3.. 



  
 

    


    
    
用主成分分析（PCA）演算法做人臉識別

     
 
                詳細資料可以參考https://www.cnblogs.com/xingshansi/p/6445625.html一、概念主成分分析（PCA）是一種統計方法。通過正交變換將一組可能存在相關性的變數轉化為一組線性不相關的變數，轉換後的這組變數叫主成分。二、思想PCA的思想是將n 



  
 

    


    
    
RANSAC演算法做直線擬合

     
 
# -*- coding: utf-8 -*-
import numpy
import scipy # use numpy if scipy unavailable
import scipy.linalg # use numpy if scipy unavailable
import pylab

## C 



  
 

    


    
    
做題記錄： P1118 [USACO06FEB]數字三角形Backward Digit Su…

     
 clas   return   ring   是否   style   back   ble   sin   names    P1118 [USACO06FEB]數字三角形Backward Digit Su…

/*思路：設一開始的n個數為a1、a2、a3...an，
一步一步合並就可以用a1..an表示出 



  
 

    


    
    
我的演算法之路之c++做題用到的實用函式

     
  
 
 substr（）函式的用法： 
 substr有2種用法： 假設：string s = "0123456789"; 
 string sub1 = s.substr(5); //只有一個數字5表示從下標為5開始一直到結尾：sub1 = "56789" 
 string sub2  



  
 

    


    
    
Neo4j 做推薦 （6）—— 加權內容演算法

     
  
 
 
 除了考慮計算相似性的型別之外，還有更多的特徵，如演員和導演。讓我們使用加權總和根據他們共同的演員、流派和導演的數量對建議進行評分，以提高分數。根據重疊特徵的數量和型別計算加權和： 
 // Find similar movies by common genres
MATCH (m:Movie)  



  
 

    


    
    
Feed Forward and Backward Run in Deep Convolution Neural Network 論文閱讀筆記

     
  
  
  
 徒手實現CNN：綜述論文詳解卷積網路的數學本質 
  
 Abstract 
 對卷積網路的數學本質和過程仍然不是太清楚，這也就是本論文的目的。 
  
  我們使用灰度圖作為輸入資訊影象， 
  ReLU 和 Sigmoid 啟用函式構建卷積網路的非線性屬性， 
  交叉熵損失函式用於計算 



  
 

    


    
    
三攝正普及，四攝在路上？谷歌逆天AI演算法，只做單攝虛化

     
  
 
 
  
  
  
  作者| 琥珀
  出品| AI科技大本營
  
  想要提高拍照效果，想必對於多數手機廠商而言，給手機塞進更多的攝像頭似乎成了當前主流做法，例如“普通攝像頭+景深攝像頭”、“黑白+彩色攝像頭”、“廣角+長焦攝像頭”……不過，偏偏有這麼一家企業反其道而行，從釋出 Pixel 系 



  
 

    


    
    
CCF之行車路線（迪傑斯特拉演算法，第二次做，90分）

     
 
                 問題描述

試題編號：
			201712-4
		試題名稱：
			行車路線
		時間限制：
			1.0s
		記憶體限制：
			256.0MB
		問題描述：
			
			問題描述

			　　小明和小芳出去鄉村玩，小明負責開車，小芳來導航。
			　　小芳將可能 



  
 

    


    
    
CSP之高速公路（Kosaraju演算法，正反向DFS，強連通子圖分解演算法，第二次做）

     
 
                問題描述

試題編號：
			201509-4
		試題名稱：
			高速公路
		時間限制：
			1.0s
		記憶體限制：
			256.0MB
		問題描述：
			
			問題描述

			　　某國有n個城市，為了使得城市間的交通更便利，該國國王打算在城市之間修一些 



  
 

    


    
    
LSTM-CNNs-CRF演算法用於做ner等nlp任務

     
 
                

仔細看了下論文和相關程式碼實現，原理大概如下：



利用  word級別和char級別的方式作為輸入：

word級別的 一個序列長度： input_word=tf.placeholder([None,seqlen])，  就是分完詞之後的  “我  在  吃飯”

c 



  
 

    


    
    
快排__基於啊哈演算法程式碼（做了一些解釋）

     
 
                書上講得很清楚啦，這裡只解釋一些語句

#include <iostream>

using namespace std;

void quick(int left,int right,int a[])
{
    if(left>right)        



  
 

    


    
    
手把手教用matlab做無人駕駛（二）-路徑規劃A*演算法

     
 
                

對於路徑規劃演算法-A*演算法在matlab中模擬，首先我們在matlab中構建地圖：

先給出matlab主函式程式：

%   editor:  Robert.Cao
%   2018.9.1
clc
clear all
close all
disp('A Star  



  
 

    


    
    
8601 最大長方體問題（優先做） 時間限制:1000MS  記憶體限制:1000K 提交次數:950 通過次數:383  計算機演算法設計與分析 王曉東

     
 
							
							
							題目
8601 最大長方體問題（優先做）
時間限制:1000MS  記憶體限制:1000K
提交次數:950 通過次數:383
題型: 程式設計題   語言: G++;GCC;VC
Description
一個長,寬,高分別是m,n,p的長方體被分割成mnp個小 



  
 

    


    
    
如何做一名演算法應用工程師？

     
 
							
							
							1.定義

機器學習演算法，或者說“演算法工程師”這個職位名稱裡的“演算法”，並不是計算機系本科課程《演算法與資料結構》裡那個演算法。那門課裡講的，是排序、查詢這類”確定性演算法”；而這裡我們說的，是用統計方法對資料進行建模的”概率性演算法”。



1.1分類 



  
 

    


    
    
在阿里 AI Lab 做 NLP 高階演算法專家是一種什麼樣的體驗？

     
 

記者 | 鴿子


最近應屆生的拼搶大戰的號角已經吹響。正如近幾天在朋友圈瘋傳的一篇雄文，年薪25萬也只是個白菜價......這讓營長真心羞愧啊.....同樣敲鍵盤的...不說也罷


絕不將小小的憂桑帶入工作。


這幾天，群裡一直有很多小夥伴在打聽在不同的熱門公司工作，都有啥不一樣的體驗。


為了能 



  
 

    


    
    
【結構之法 演算法之道】2015年起和團隊創業做七月線上，專注AI教育。希望一直不斷幫助天下最多人

     
 
    博主簡介
    
        
July，湖南婁底人，於2010年10月11日開始在CSDN上寫博（搜尋：結構之法，進入本部落格），部落格專注面試、演算法、機器學習。2011年畢業於東華理工，2015年正式創業，任：七月線上創始人兼CEO，公司官網：七月線上（https://www.july