1. 程式人生 > >HMM演算法-viterbi演算法的實現及與分詞、詞性標註、命名實體識別的引用

HMM演算法-viterbi演算法的實現及與分詞、詞性標註、命名實體識別的引用

轉自:http://www.hankcs.com/nlp/hmm-and-segmentation-tagging-named-entity-recognition.html

HMM(隱馬爾可夫模型)是用來描述隱含未知引數的統計模型,舉一個經典的例子:一個東京的朋友每天根據天氣{下雨,天晴}決定當天的活動{公園散步,購物,清理房間}中的一種,我每天只能在twitter上看到她發的推“啊,我前天公園散步、昨天購物、今天清理房間了!”,那麼我可以根據她發的推特推斷東京這三天的天氣。在這個例子裡,顯狀態是活動,隱狀態是天氣。

2014年11月23日更新:

我已利用HMM角色標註實現了中國人名、翻譯人名、日本人名、地名、機構名等命名實體的識別,請參考此目錄

命名實體識別

HMM描述

任何一個HMM都可以通過下列五元組來描述:

  1. :param obs:觀測序列
  2. :param states:隱狀態
  3. :param start_p:初始概率(隱狀態)
  4. :param trans_p:轉移概率(隱狀態)
  5. :param emit_p:發射概率(隱狀態表現為顯狀態的概率)

例子描述

這個例子可以用如下的HMM來描述:

  1. states =('Rainy','Sunny')
  2. observations =('walk','shop','clean')
  3. start_probability ={'Rainy':0.6,'Sunny':0.4}
  4. transition_probability 
    ={
  5. 'Rainy':{'Rainy':0.7,'Sunny':0.3},
  6. 'Sunny':{'Rainy':0.4,'Sunny':0.6},
  7. }
  8. emission_probability ={
  9. 'Rainy':{'walk':0.1,'shop':0.4,'clean':0.5},
  10. 'Sunny':{'walk':0.6,'shop':0.3,'clean':0.1},
  11. }

求解最可能的天氣

求解最可能的隱狀態序列是HMM的三個典型問題之一,通常用維特比演算法解決。維特比演算法就是求解HMM上的最短路徑(-log(prob),也即是最大概率)的演算法。

稍微用中文講講思路,很明顯,第一天天晴還是下雨可以算出來:

  1. 定義V[時間][今天天氣] = 概率,注意今天天氣指的是,前幾天的天氣都確定下來了(概率最大)今天天氣是X的概率,這裡的概率就是一個累乘的概率了。

  2.     因為第一天我的朋友去散步了,所以第一天下雨的概率V[第一天][下雨] = 初始概率[下雨] * 發射概率[下雨][散步] = 0.6 * 0.1 = 0.06,同理可得V[第一天][天晴] = 0.24 。從直覺上來看,因為第一天朋友出門了,她一般喜歡在天晴的時候散步,所以第一天天晴的概率比較大,數字與直覺統一了。

  3. 從第二天開始,對於每種天氣Y,都有前一天天氣是X的概率 * X轉移到Y的概率 * Y天氣下朋友進行這天這種活動的概率。因為前一天天氣X有兩種可能,所以Y的概率有兩個,選取其中較大一個作為V[第二天][天氣Y]的概率,同時將今天的天氣加入到結果序列中

  4. 比較V[最後一天][下雨]和[最後一天][天晴]的概率,找出較大的哪一個對應的序列,就是最終結果。

這個例子的Python程式碼:

  1. # -*- coding:utf-8 -*-
  2. # Filename: viterbi.py
  3. # Author:hankcs
  4. # Date: 2014-05-13 下午8:51
  5. states =('Rainy','Sunny')
  6. observations =('walk','shop','clean')
  7. start_probability ={'Rainy':0.6,'Sunny':0.4}
  8. transition_probability ={
  9. 'Rainy':{'Rainy':0.7,'Sunny':0.3},
  10. 'Sunny':{'Rainy':0.4,'Sunny':0.6},
  11. }
  12. emission_probability ={
  13. 'Rainy':{'walk':0.1,'shop':0.4,'clean':0.5},
  14. 'Sunny':{'walk':0.6,'shop':0.3,'clean':0.1},
  15. }
  16. # 列印路徑概率表
  17. def print_dptable(V):
  18. print"    ",
  19. for i in range(len(V)):print"%7d"% i,
  20. print
  21. for y in V[0].keys():
  22. print"%.5s: "% y,
  23. for t in range(len(V)):
  24. print"%.7s"%("%f"% V[t][y]),
  25. print
  26. def viterbi(obs, states, start_p, trans_p, emit_p):
  27. """
  28.     :param obs:觀測序列
  29.     :param states:隱狀態
  30.     :param start_p:初始概率(隱狀態)
  31.     :param trans_p:轉移概率(隱狀態)
  32.     :param emit_p: 發射概率 (隱狀態表現為顯狀態的概率)
  33.     :return:
  34.     """
  35. # 路徑概率表 V[時間][隱狀態] = 概率
  36.     V =[{}]
  37. # 一箇中間變數,代表當前狀態是哪個隱狀態
  38.     path ={}
  39. # 初始化初始狀態 (t == 0)
  40. for y in states:
  41.         V[0][y]= start_p[y]* emit_p[y][obs[0]]
  42.         path[y]=[y]
  43. # 對 t > 0 跑一遍維特比演算法
  44. for t in range(1, len(obs)):
  45.         V.append({})
  46.         newpath ={}
  47. for y in states:
  48. # 概率 隱狀態 =    前狀態是y0的概率 * y0轉移到y的概率 * y表現為當前狀態的概率
  49. (prob, state)= max([(V[-1][y0]* trans_p[y0][y]* emit_p[y][obs[t]], y0)for y0 in states])
  50. # 記錄最大概率
  51.             V[t][y]= prob
  52. # 記錄路徑
  53.             newpath[y]= path[state]+[y]
  54. # 不需要保留舊路徑
  55.         path = newpath
  56.     print_dptable(V)
  57. (prob, state)= max([(V[len(obs)-1][y], y)for y in states])
  58. return(prob, path[state])
  59. def example():
  60. return viterbi(observations,
  61.                    states,
  62.                    start_probability,
  63.                    transition_probability,
  64.                    emission_probability)
  65. print example()

輸出:

  1. 012
  2. Rainy:0.060000.038400.01344
  3. Sunny:0.240000.043200.00259
  4. (0.01344,['Sunny','Rainy','Rainy'])

NLP應用

具體到分詞系統,可以將天氣當成“標籤”,活動當成“字或詞”。那麼,幾個NLP的問題就可以轉化為:

  • 詞性標註:給定一個詞的序列(也就是句子),找出最可能的詞性序列(標籤是詞性)。如ansj分詞和ICTCLAS分詞等。

  • 分詞:給定一個字的序列,找出最可能的標籤序列(斷句符號:[詞尾]或[非詞尾]構成的序列)。結巴分詞目前就是利用BMES標籤來分詞的,B(開頭),M(中間),E(結尾),S(獨立成詞)

  • 命名實體識別:給定一個詞的序列,找出最可能的標籤序列(內外符號:[內]表示詞屬於命名實體,[外]表示不屬於)。如ICTCLAS實現的人名識別、翻譯人名識別、地名識別都是用同一個Tagger實現的。

小結

HMM是一個通用的方法,可以解決貼標籤的一系列問題。

自己根據以上內容的一些個人體會:

1、HMM演算法是一個D*D*N的問題;

2、前一隱狀態的概率全部求出來,根據前一隱狀態的概率依次求取後一隱狀態的各個概率,後一序列中的每一個狀態的最大值作為當前序列隱狀態的概率,並記錄前一隱狀態到當前隱狀態的路徑,一個動態規劃實現最短路徑,viterbi演算法。基於統計的方法,實現最大概率路徑。

建模公式:y為狀態(標籤),x為顯狀態(詞)一個轉移概率矩陣,一個發射概率矩陣。