HMM與分詞、詞性標註、命名實體識別
HMM（隱馬爾可夫模型）是用來描述隱含未知引數的統計模型，舉一個經典的例子：一個東京的朋友每天根據天氣{下雨，天晴}決定當天的活動{公園散步,購物,清理房間}中的一種，我每天只能在twitter上看到她發的推“啊，我前天公園散步、昨天購物、今天清理房間了！”，那麼我可以根據她發的推特推斷東京這三天的天氣。在這個例子裡，顯狀態是活動，隱狀態是天氣。
2014年11月23日更新：
我已利用HMM角色標註實現了中國人名、翻譯人名、日本人名、地名、機構名等命名實體的識別，請參考此目錄命名實體識別。
HMM描述
任何一個HMM都可以通過下列五元組來描述：
- :param obs:觀測序列
- :param states:隱狀態
- :param start_p:初始概率（隱狀態）
- :param trans_p:轉移概率（隱狀態）
- :param emit_p: 發射概率 （隱狀態表現為顯狀態的概率）
例子描述
這個例子可以用如下的HMM來描述：
- states = ('Rainy', 'Sunny')
- observations = ('walk', 'shop', 'clean')
- start_probability = {'Rainy': 0.6, 'Sunny': 0.4}
- transition_probability = {
- 'Rainy' : {'Rainy': 0.7, 'Sunny': 0.3},
- 'Sunny' : {'Rainy': 0.4, 'Sunny': 0.6},
- }
- emission_probability = {
- 'Rainy' : {'walk': 0.1, 'shop': 0.4, 'clean': 0.5},
- 'Sunny' : {'walk': 0.6, 'shop': 0.3, 'clean': 0.1},
- }
求解最可能的天氣
求解最可能的隱狀態序列是HMM的三個典型問題之一，通常用維特比演算法解決。維特比演算法就是求解HMM上的最短路徑（-log(prob)，也即是最大概率）的演算法。
稍微用中文講講思路，很明顯，第一天天晴還是下雨可以算出來：
-
定義V[時間][今天天氣] = 概率，注意今天天氣指的是，前幾天的天氣都確定下來了（概率最大）今天天氣是X的概率，這裡的概率就是一個累乘的概率了。
-
因為第一天我的朋友去散步了，所以第一天下雨的概率V[第一天][下雨] = 初始概率[下雨] * 發射概率[下雨][散步] = 0.6 * 0.1 = 0.06，同理可得V[第一天][天晴] = 0.24 。從直覺上來看，因為第一天朋友出門了，她一般喜歡在天晴的時候散步，所以第一天天晴的概率比較大，數字與直覺統一了。
-
從第二天開始，對於每種天氣Y，都有前一天天氣是X的概率 * X轉移到Y的概率 * Y天氣下朋友進行這天這種活動的概率。因為前一天天氣X有兩種可能，所以Y的概率有兩個，選取其中較大一個作為V[第二天][天氣Y]的概率，同時將今天的天氣加入到結果序列中
-
比較V[最後一天][下雨]和[最後一天][天晴]的概率，找出較大的哪一個對應的序列，就是最終結果。
這個例子的Python程式碼：
- # -*- coding:utf-8 -*-
- # Filename: viterbi.py
- # Author：hankcs
- # Date: 2014-05-13 下午8:51
- states = ('Rainy', 'Sunny')
- observations = ('walk', 'shop', 'clean')
- start_probability = {'Rainy': 0.6, 'Sunny': 0.4}
- transition_probability = {
- 'Rainy' : {'Rainy': 0.7, 'Sunny': 0.3},
- 'Sunny' : {'Rainy': 0.4, 'Sunny': 0.6},
- }
- emission_probability = {
- 'Rainy' : {'walk': 0.1, 'shop': 0.4, 'clean': 0.5},
- 'Sunny' : {'walk': 0.6, 'shop': 0.3, 'clean': 0.1},
- }
- # 列印路徑概率表
- def print_dptable(V):
- print " ",
- for i in range(len(V)): print "%7d" % i,
- for y in V[0].keys():
- print "%.5s: " % y,
- for t in range(len(V)):
- print "%.7s" % ("%f" % V[t][y]),
- def viterbi(obs, states, start_p, trans_p, emit_p):
- """
- :param obs:觀測序列
- :param states:隱狀態
- :param start_p:初始概率（隱狀態）
- :param trans_p:轉移概率（隱狀態）
- :param emit_p: 發射概率 （隱狀態表現為顯狀態的概率）
- :return:
- """
- # 路徑概率表 V[時間][隱狀態] = 概率
- V = [{}]
- # 一箇中間變數，代表當前狀態是哪個隱狀態
- path = {}
- # 初始化初始狀態 (t == 0)
- for y in states:
- V[0][y] = start_p[y] * emit_p[y][obs[0]]
- path[y] = [y]
- # 對 t > 0 跑一遍維特比演算法
- for t in range(1, len(obs)):
- V.append({})
- newpath = {}
- for y in states:
- # 概率 隱狀態 = 前狀態是y0的概率 * y0轉移到y的概率 * y表現為當前狀態的概率
- (prob, state) = max([(V[t - 1][y0] * trans_p[y0][y] * emit_p[y][obs[t]], y0) for y0 in states])
- # 記錄最大概率
- V[t][y] = prob
- # 記錄路徑
- newpath[y] = path[state] + [y]
- # 不需要保留舊路徑
- path = newpath
- print_dptable(V)
- (prob, state) = max([(V[len(obs) - 1][y], y) for y in states])
- return (prob, path[state])
- def example():
- return viterbi(observations,
- states,
- start_probability,
- transition_probability,
- emission_probability)
- print example()
輸出：
- 0 1 2
- Rainy: 0.06000 0.03840 0.01344
- Sunny: 0.24000 0.04320 0.00259
- (0.01344, ['Sunny', 'Rainy', 'Rainy'])
NLP應用
具體到分詞系統，可以將天氣當成“標籤”，活動當成“字或詞”。那麼，幾個NLP的問題就可以轉化為：
-
詞性標註：給定一個詞的序列（也就是句子），找出最可能的詞性序列（標籤是詞性）。如ansj分詞和ICTCLAS分詞等。
-
分詞：給定一個字的序列，找出最可能的標籤序列（斷句符號：[詞尾]或[非詞尾]構成的序列）。結巴分詞目前就是利用BMES標籤來分詞的，B（開頭）,M（中間),E(結尾),S(獨立成詞）
-
命名實體識別：給定一個詞的序列，找出最可能的標籤序列（內外符號：[內]表示詞屬於命名實體，[外]表示不屬於）。如ICTCLAS實現的人名識別、翻譯人名識別、地名識別都是用同一個Tagger實現的。
小結
HMM是一個通用的方法，可以解決貼標籤的一系列問題。
在程式碼實現的過程中，出現了一個小問題，如同原部落格中該評論一樣
從結果看，第二天似乎應該是天晴才對吧，天晴的概率是0.04320，下雨的概率是0.0340，難道是我理解錯了嗎？
對，你理解錯了，0.04320是累積概率，第二天天晴是區域性最優，必須以最終（第三天）的全域性最優為準。
第一天為天晴的概率為0.24，根據這個條件，計算第二天為天晴和下雨的概率分別為0.0432,0.0384，這時候我覺得第二天應該為天晴，在這個條件下，再計算第三天為天晴和下雨的概率分別為0.00259,0.00864,所以我覺得最後的結果應該為Sunny，Sunny，Rainy。想請教一下大神，這樣理解對不？
該評論和我一樣理解為，每次判斷完一天後，就把該狀態序列中最大的狀態直接存入結果，這樣只會儲存區域性最優解，一定要設定一個狀態序列，來逐步儲存全域性最優解。所以注意max([(V[t - 1][y0] * trans_p[y0][y] * emit_p[y][obs[t]], y0) for y0 in states])該行程式碼，它就表示瞭如何改變路徑儲存。